Han var sønn av Nicoline (Lina) Jeanette Tyrholm Hjorthøy (1821–1890) og Jacob Ulrich Holfeldt Tostrup (1806–80). Faren var gullsmed og kongelig hoff- og ordensjuvelér som i 1832 startet J. Tostrup. Moren var barnebarn av presten Hugo Friderich Hiorthøy. ''Se Tostrup for mer om farsslekta Etter å ha gått ved Nissens Latin- og Realskole (etablert 1843) gikk Tostrup i lære ved farens verksted fra 1858 til 1862, og utdannet seg også i tegning og modellering ved Den kongelige tegneskole i byen. Fra 1862-65 opphold han seg utenlands, blant annet med studier ved Kunstakademiet i Berlin under arkeologen Karl Bötticher (1806–89) som var hellenist og ekspert på ornamentikk. Så bars det til Paris der Tostrup fikk arbeid på flere større gullsmedverksteder. I København arbeidet han 1864 til 1865 hos hoffjuveler Anton Michelsen (1809–77) som i 1841 hadde grunnlagt sitt firma som senere slo seg sammen med Georg Jensen sitt.