Haagen Ludvig Bergh ble gift med Christine Fredrikke Doderlein i 1832. Disse fikk seks barn. Etter hennes død ble han gift med Anne Marie Louise Astrup (1822–1888), datter av politikeren Nils Astrup. Paret hadde en sønn og en datter.