Han var sønn av infanterikaptein Nicolay Tostrup og bror av blant andre Christopher Henrik Holfeldt Tostrup og Jacob Ulrich Holfeldt Tostrup. Han ble utdannet cand.jur. i 1824, og fungerte i embedet som amtmann i Jarlsberg og Larviks amt i 1843. Fra 1844 til 1852 var han amtmann i Nordre Bergenhus amt og fra 1852 til 1854 var han amtmann i Kristians amt. I 1848 ble han innvalgt på Stortinget som 3. representant for Nordre Bergenhus amt og satt en periode, til 1850.