Sommerfelt giftet seg med Jørgine Maria Krohn (datter av Johan Jørgen Krohn) på Land 28. mai 1818. Sommerfelt og Jørgine Marie fikk barn sammen, fem jenter og fem gutter. Da han døde, var hun svanger med det tiende barnet. Hun måtte oppdra barna alene og hadde ingen stor pensjon å leve av. Flere av barna tok høyere utdannelse, blant annet Christian Sommerfelt, prest, ordfører og stortingsmann, og Carl Linne Sommerfelt, som ble rektor ved Kristiansand katedralskole.