Han var sønn av ingeniør Stener August Fangen (f. 1858) og Alice Maud Lister (f. 1864), som den nest yngste av seks barn. Han hadde søsknene Alice (1884–86), Christian (1886–1940), Stener (1888–1912), Wilhelm (f. 1890) og Knut (f. 1898). Familienavnet stammet fra hans tippoldefar, regimentskirurg Anton Wilhelm von Fangen (1739–1804), som var født i Oldenburg men virket i Kristiansand. Oldefaren Anton Wilhelm Fangen (1799–1872) var prest i Vestre Aker og bestefaren Niclaus Stener Fangen (1830–89) var overtollbetjent i Bergen.