Han hadde en stormfull affære med Alma Mahler fra 1912 av. Etter flere år fant hun at det ble for anstrengende med så mye lidenskap, og brøt ut. Han fortsatte å være forelsket livet ut, og malte sitt mesterstykke som en hyllest til henne.