Când Richter a demisionat din fruntea Filarmonicii din Viena în septembrie 1898, comitetul l-a ales în unanimitate pe Mahler ca succesor. Numirea nu a fost bine primită de toată lumea; presa antisemită se întreba dacă Mahler, ca non-german, este capabil să apere muzica germană. Numărul spectatorilor a crescut în timpul primului sezon al lui Mahler, dar membrii orchestrei erau nemulțumiți de obiceiul lui Mahler de a modifica capodopere consacrate și cererea pentru repetiții suplimentare pentru lucrări pe care le știau foarte bine. O încercare a orchestrei de a-l repune pe Richter director în 1899 a eșuat deoarece Richter nu era interesat. Poziția lui Mahler a fost slăbită în 1900, când a luat orchestra la Paris pentru a cânta la Expoziția Universală de la Paris. Audiența concertelor de la Paris a fost mică, iar concertele au înregistrat pierderi financiare. În aprilie 1901, din cauza recidivării problemelor de sănătate și a plângerilor din partea orchestrei, Mahler a renunțat la postul său din cadrul Filarmonicii. În cele trei stagiuni ale sale, Mahler a dirijat în jur de 80 de lucrări diferite, inclusiv lucrări ale unor compozitori mai puțin cunoscuți, precum Hermann Goetz, Wilhelm Kienzl și italianul Lorenzo Perosi.