Hauge var sønn av salmebokutgiveren Andreas Hauge, sønnesønn av legpredikanten Hans Nielsen Hauge og dattersønn av Gustava Kielland. I 1881 ble han gift med Christopha Louise Scheel (1857-1929).