Han var gift med Sophie Amalia (1815–1874, f. Nilsen), og var far til blant annet Hakon Adelsten Sommerfeldt (1843–1913).