Han giftet seg med Alma Schindler i 1902, og fikk de to døtrene Anna, som senere ble skulptør, og Maria Anna, som døde i 1907 av skarlagensfeber. Samme år oppdaget han at han led av en hjertesykdom, og mistet sin stilling i Wien.