Han vokste opp på Ås, hvor hans far Lars Gunerius Loe (1883–1971) var professor i landmåling ved Norges landbrukshøgskole. MHans mor het Dorthea Olstad (1888–1981).