Sommerfelt var gift med forfatterinnen og oversetteren Aimée Sommerfelt (1892–1975). De bodde sammen på Trosterud i Oslo.