在维也纳期间，从1898年到1901年，马勒还担任了维也纳爱乐乐团的指挥。1898年，乐团音乐委员会一致通过决议，选择马勒作为汉斯·里希特的接任者。外界对此并非没有异议，有人怀疑非德国人的马勒是否有能力“捍卫德国音乐”。马勒上任后的第一个演出季，票房有显著提高，但乐队成员不满马勒改编名作的习惯，以及对他们已经烂熟的曲目增加额外排练。1899年乐团甚至要求里赫特回来，最终无果。马勒在1900年带着乐团去参加了巴黎世博会。在巴黎的音乐会是商业上的失败，马勒甚至连回程路费都无法支付，不得不向银行世家罗斯柴尔德家族借钱。1901年4月，马勒因为自己健康状况不佳，也厌倦了抱怨和不满，遂辞去了指挥职位。三年间他指挥了80多部作品的演出，并推广了一些不为人知的作曲家，比如赫尔曼·格茨、、。