Han var sønn av Hans Faye (1797–1852) og Margrethe Elisabeth Nielsen (1807–1837). Faren var bankmann, av Faye (slekt). Jacob ble også bankmann. I januar 1852 giftet han seg med Johanne (Tina) Heftye (1831–1901), datter av bankier Johannes Heftye (1792–1856).