901年4月，马勒因为自己健康状况不佳，也厌倦了抱怨和不满，遂辞去了指挥职位。三年间他指挥了80多部作品的演出，并推广了一些不为人知的作曲家，比如赫尔曼·格茨、、。1907年，马勒与纽约大都会歌剧院的总监开始沟通，并在6月签订了回报丰厚的合约，答应在纽约指挥四个演出季。同年夏季他向维也纳宫廷歌剧院递交了辞职信。马勒执掌歌剧院的十年间交到了很少的朋友，据说他对待音乐家就好像“驯兽师对待动物”；他离开时在告示栏上留下的信，甚至被扯下摔到地上。11月24日，马勒在维也纳进行了告别演出，曲目是他的《第二交响曲》