Sommerfelt var gift to ganger, (1) i 1784 med Karen Magdalene Mandal (1764–1791) og (2) i 1793 med Anne Sophie Hagerup (1775–1849), datteren til byfogd Hagerup i Christiania. I det siste ekteskapet fikk han sønnen Søren Christian Sommerfelt, prest og botaniker.