Han var sønn til kaptein Nicolay Tostrup (død 1858), gift med Thale M. R. Holfeldt (død 1860) fra Snekkestad gård ved Holmestrand. Jacob Tostrup var bror av Hans Tostrup og Christopher Henrik Holfeldt Tostrup, og farbror til Agnes Tostrup, mor til Christopher Tostrup Paus.