Han innledet sin yrkeskarriere som offiser, men ved inngifte i slekten Anckarswärd kom han på 1840-tallet til å få innpass i både godsforvaltning og annen næringsvirksomhet. Som politiker inngikk Gripenstedt fra 1840-tallet i riksdagens «godsliberale» krets, og han var sterkt påvirket av Napoleon III:s patriarkalske liberalisme og den franske nasjonaløkonomen Frédéric Bastiat. Han virket blant annet for innføringen av frihandel, og hørte opprinnelig til i de moderatliberale kretsene som ville liberalisere landet, men ikke gå like raskt fram som de radikale liberale. Lenge kunne han tenke seg visse proteksjonistiske grenser. Da kong Oscar I ville fornye regjeringen ble den 35-årige Gripenstedt konsultativt statsråd. I perioden 1856–1866 var han finansminister og kunne fra den posten aktivt virke for en rask utbygging av jernbanen med kapital lånt på det internasjonale markedet. Ved bankkrisen i 1857 foretok han det første statlige inngrep for å redde en svensk bank, Skånes Enskilda Bank.