Han ble gift første gang i 1934 med Emmy Paasche Aasen (ekteskapet oppløst), annen gang i 1941 med skuespiller Bonne Winther-Hjelm Jelstrup (ekteskapet oppløst) og tredje gang i 1951 med Martha Poulsen. Sammen med sin tredje ektefelle flyttet han tilbake til Danmark. Han døde i Spania 14. februar 1976, for øvrig på samme dato som den danske maleren Georg Jacobsen.