Gunnar Berg hadde siden 1794 vært gift med Anna Colban, datter av skipperborger Janus William Colban i Trondhjem. Hun døde i 1808, og etterlot seg fem til dels små barn. Han giftet seg på nytt i 1809 med Rebekka Elisabeth Kildal, datter av Ibestads tidligere sogneprest Michael Heggelund Kildal og enke etter sogneprest Peder Borch Lund. Eldstesønnen Marcus Fredrik Berg ble byråsjef, mens resten av Gunnar Bergs barn ble værende i Nord-Norge. Sønnen Gunnar Berg ble handelsmann i Svolvær og gift med Maren Andrea Dons, datter av handelsmann Jens Bing Dons i Hamnvik i Ibestad, mens datteren Sara ble gift med handelsmann og godseier Erich Coldevin på Melbu.