Hans far var byens konsul Jacob Jørgen Kastrup Sømme (1817–93), og fetter av Alexander Kielland, Kitty Kielland og Valentin Kielland. Svogeren var Gerhard Gran. Han var onkel til politikeren Axel Sømme og svigerfar til Christian Julius Schou.