Han var først gift med forfatteren Veza (Venetiana) Taubner-Calderon (1897–1963). Hun opptrådte som hans muse og en dedikert litterær assistent. Etter Vezas død i 1963 ble han gift med Hera Buschor (1933–1988), og de fikk datteren Johanna i 1972.