Han var gift med psykolog Solveig Marstrander Brandanger (1913-2000) og var far til ambassadør Lasse Sigurd Seim (1943-2024).