I 1949 giftet han seg med Mary Baldwin Gundersen, datter av en lege og opprinnelig fra La Crosse, Wisconsin. Paret fikk to døtre og to sønner, født mellom 1950 og 1959. De bodde først på Blommenholm, og senere på Montebello.