Han var sønn av infanterikaptein Nicolay Tostrup og Thale Margrethe Resen Holfeldt, og var bror av amtmann og stortingsmann Hans Tostrup og gullsmed Jacob Ulrich Holfeldt Tostrup. Foreldrene var ikke spesielt velstående og hadde bare råd til universitetsutdannelse for den ene sønnen, og det var derfor planen at Christopher skulle bli sjømann. Da han skulle ut med et skip for alvor første gang rakk han imidlertid ikke frem, og da skipet få dager senere gikk ned med mann og mus gjorde moren det straks av med sjømannsplanene. I stedet ble han i 1822 ansatt på kontoret til bordskriver Ole Nerdrum.