Han vokste opp i Svelvik som sønn av overtollbetjent Gerhard Gunnerus Bergh og hustru Marie Elisabeth Smith. Han giftet seg i 1868 med Ingeborg Henrikke Gram, datter av brukseier David Andreas Gram og søster til kvinnesakskvinnen Fredrikke Marie Qvam (født Gram). Fredrikke Marie var gift med statsminister Ole Anton Qvam. Svigerfaren drev Helge-Rein-By bruk i Steinkjer med tresliperi, møllebruk og brenneri.