Jens Christian Berg var sønn av Nils Jensen Berg (1738–98), som ved hans fødsel var stiftsamtskriver i Trondhjem, men senere ble zahlkasserer og justisråd, og Marie Margrethe Flor (1744–1817). Han ble gift to ganger, første gang i 1803 med Hedevig Marie Elisabet Wessel (død 1816), andre gang i 1817 med Juliane Marie Haxthausen (død 1847), datter av Frederik Gottschalk von Haxthausen.