Han giftet seg i 1880 med sin kusine Amalie Hansen, datter av fasteren Caroline (født Wrangell) og Andreas Hansen, farens etterfølger som telegrafbestyrer i Haugesund. Hakon Magne og Amalie fikk tolv barn, men seks av dem døde unge, flere av dem av tuberkulose. I 1893 bygde de sin villa øverst i Torgbakken i Haugesund.