Auer ble født 7. juni 1845 i Veszprém i dagens Ungarn, som sønn av en husmaler. Den jødiske familien var ikke velstående, men faren ønsket at sønnen skulle utvikle sitt åpenbare musikalske talent. Han fikk undervisning av kjente pedagoger som Jakob Dont (1857–1858) og Georg Hellmesberger senior, senere også Joseph Joachim. Auer holdt sin første konserter som fjortenåring, og foretok konsertreiser til flere byer i Kroatia, Ungarn, Wien, Linz, Salzburg, München og Leipzig. I 1864 ble han konsertmester i Düsseldorf (1863–1865) deretter i Hamburg (1866–1868). Under et besøk i London spilte han trio med Arthur Rubinstein, som deretter anbefalte ham som fiolinlærer ved konservatoriet i St. Petersburg, der han overtok etter Henryk Wieniawski. Auer ble i stillingen, fra et tidspunkt som professor, i 50 år. Fra 1873 hadde han tittelen . Han ble adlet i 1895.