Han giftet seg med den østerrikske forfatterinnen Erika Mann i 1935, men dette var et pro forma-ekteskap for at hun skulle få britisk statsborgerskap og slippe unna nazistisk forfølgelse i hjemlandet.Han hadde kjærlighetsforhold til begge kjønn. Mot slutten av 1930-tallet traff han dikteren Chester Kallman, som han hadde et vekslende forhold til resten av livet.