Han var sønn av forretningsmann og stortingsrepresentant Ole Mathæus Hauge (1806–1868) og Gunhild Marie Brinch (1830) fra Arendal.