Hans foreldre var Harald Vilhelm Sommerfelt (1819-1863) og Maren Dortohea Ihlen (1821-1892). Slekten stammer fra Danmark og kom fra Aarhus til Norge med Hans Hanssøn Sommerfeldt (ca. 1640-1687) som var sogneprest i Vardal. Han var gift med Else Michelsdatter Storm (1651-1737).