Han var gift med Anne Johanne Borchgrevink, og de fikk ti barn, deriblant Henrik Bergh, som ble høyesterettsadvokat, skuespilleren Haakon Ludvig Bergh og høyesterettsadvokat Johannes Bergh.