Auer studeerde bij Ridley Köhne in Boedapest, bij Jakob Dont in Wenen en ten slotte bij Joseph Joachim in Hannover. Van 1868 tot 1917 doceerde hij aan het Rimsky-Korsakov Conservatorium in Sint-Petersburg. Na de Oktoberrevolutie verliet hij Rusland en emigreerde naar de Verenigde Staten waar hij een docentschap kreeg aan de Curtis Institute of Music in Philadelphia en aan het Institute of Musical Art (het latere "Juilliard") in New York. In 1926 werd hem het Amerikaanse staatsburgerschap toegekend.