Grippenberg begon in 1854 als cadet bij het Russisch Krimleger. Hij vocht in de Krimoorlog tegen de Britten en de Fransen. Op 2 november 1855 kreeg hij een onderscheiding voor moed. Hij sloeg de Januariopstand van Polen mee neer in 1863-1864 en werd bevorderd tot luitenant. Hij werd naar Turkestan gestuurd waar hij een bataljon infanterie van Orenburg leidde en werd bevorderd tot majoor in 1866. Hij vocht in de Generaal-gouvernement Turkestan oorlog, veroverde het emiraat Buchara en bestormde het fort van Istaravsjan. Daarvoor ontving hij de Orde van Sint-Anna en de Orde van Sint-George en werd bevorderd tot luitenant-kolonel.