Gripenberg aloitti sotilasuransa 16-vuotiaana Suomen krenatööritarkk’ampujapataljoonan aliupseerina toukokuussa 1854, ja yleni puolessa vuodessa vänrikiksi. Hänen pataljoonansa osallistui Krimin sodan aikana 1854–1856 Suomen etelärannikon puolustamiseen Englannin laivaston pelättyä maihinnousua vastaan. Gripenberg ylennettiin 1859 luutnantiksi ja hän osallistui vuonna 1863 Puolan kapinan kukistamiseen. Seuraavan vuoden alussa hänet siirrettiin henkikaartin Moskovan rykmenttiin. Vuodesta 1866 hän palveli tarkk’ampujapataljoonan kapteenina ensin Orenburgissa ja seuraavasta vuodesta alkaen Turkestanissa. Gripenberg osallistui 1867–1868 Venäjän valloitusretkeen Turkestanissa ja kunnostautui muun muassa Ura-Tjuben ja Urgutin linnoitusten sekä Samarkandin kukkuloiden valtauksissa. Hänet ylennettiin 1868 everstiluutnantiksi ja määrättiin valloitetun Katta-Kurganin linnoituksen päälliköksi. Pian hän kuitenkin palasi Venäjälle tarkk’ampujapataljoonan komentajaksi ja yleni 1872 everstiksi.