Berge giftet seg 9. august 1852 med Gundvor Olsdatter (også Jenssen; ~1832–1872). Paret fikk fem barn, inkludert Rudolf (1857–1942), Johannes (1860–1901) og Magdalena (kalt «Magda»). Gundvor døde 26. mars 1872.