Tostrup var medlem av direksjonen for Hovedbanen, kommunestyret i Christiania, den kongelige skogkommisjon, fengselskommisjonen og ble vararepresentant på Stortinget i 1854. Han ble ridder av Vasaordenen i 1864, men bar aldri dekorasjonen. I 1845 kjøpte han løkken Bellevue i Christiania, som senere ble innlemmet i Vår Frelsers gravlund. Han restaurerte huset og anla parkmessig hage, og bodde der til 1870-årene. I 1870 kjøpte han herregården Kjellestad i Stathelle, der han bodde de siste årene. Kjøpet innledet en mer passiv periode for Tostrup i ledelsen av Tostrup & Mathiesen.