Jacob Fegth var gift første gang med Karen Sophie Mathisdatter Westbye (1761–1796), datter av den velstående kjøpmann Mathias Westbye (f. 1725) i Drammen. Han var andre gang gift med Kristine Maria Iversdatter (død 1804) og tredje gang med Anna Christina Goen (født 1789, død før 1818), datter av Sandefjords fremste skipsreder Wilhelm Olsen Goen. Jacob Fegth har en rekke etterkommere bl.a. med slektsnavn Fegth, Juel, Salvesen, Holst, Paus, Høeg, Prytz, Browne, Løvenskiold, Wessel og andre navn. Han var svigerfar til blant andre proprietær og skipsreder Anders Juel (1787–1852), til den vidgjetne skips- og kaperkapteinen Bent Salvesen (1787–1820) og til skipsfører og skipsreder Mathias Andreas Holst (1793–1849). Sønnen fra tredje ekteskap, Wilhelm Anton Fegth (1810–1877), var sogneprest i Alstahaug.