Se casó dos veces, primero con la poetisa estadounidense Charlotte Mitchell en 1907, que falleció en 1934, y posteriormente con la organista y arpista austríaca Suzanne Hock (más conocida como Susi Jeans) en 1935.