Ekteskapet med von Rosen varte til 1951. I 1954 giftet han seg med Ann Larsson (1921–1975). De var gift til 1961. I 1978 giftet han seg med sin tredje kone Kristine Rivelsrud (1932–2014).