Sus parejas fueron: Alice Solscher con la que estuvo casado desde 1920-1925, Alice Willer desde 1939-1953, Luise Rinser desde 1954-1959 y Liselotte Schmitz en 1960.