Tostrup ble leder i J. Tostrup fra 1881, da faren trakk seg tilbake, men han døde allerede i 1882, bare 40 år gammel. Han kom seg aldri etter en kraftig forkjølelse han fikk på en reise i utlandet. Faren tok igjen ansvar for firmaet, fra 1884 med sønnedatterens ektemann Torolf Prytz (1858–1938) som sjef. Kunstindustrimuséet fikk Tostrups samling av bøker og plansjer om kunstindustri.