Han fødtes i Skien som sønn av Frederik Christian von Rehbinder (d. 1798) av livlandsk adelsslekt og Dorothea von Cappelen (d. 1834). Som ung var han pasje ved kongens hoff, senere gikk han den militære løpebane. 1823 var han adjutant hos kronprinsen av Sverige og Norge Joseph Frans Oscar, senere hos selvsamme som konge. I 1858 ble han kommandant på Fredrikstad festning, en stilling han behold til sin død.