Conoció de cerca al escritor Elias Canetti que describe su interesante y compleja personalidad en la parte de su autobiografía de 1931 a 1937, titulada: "El juego de ojos", capítulo "El director de orquesta" "y siguientes", narrando también la pasión de Scherchen por Anna Mahler, hija del músico Gustav Mahler y notable escultora.