Jacob Tostrup var gift med Nicoline J. T. Hjorthøy (død 1890) og de hadde fem barn, blant annet etterfølgeren i firmaet, Oluf Tostrup. Andre etterkommere omfatter hans dattersønn Jacob Tostrup Prytz (1886–1962) og hans barn, gullsmedene Torolf Prytz jr. og Grete Prytz Kittelsen.