I 1941 ble han gift med Ulla Lidman-Frostenson (datter av forfatteren Sven Lidman), misjonær og medlem av Riksdagen, men hun døde i 1962. Deretter var han gift med Gerd Anne-Marie Sjöstedt fra 1965 til 1968 og med Sigrid Vera Kristina Frostenson Hausel fra 1970 til 2001.