Foreldrene var Elisabeth Sofie Jakobsdatter Karre (død 1748) og forretningsmannen Hans Jørgensen (1685–1741). Jakob og hans søsken tok etternavnt Neumann etter oldemorens slekstnavn Niemand.