Zimmer studerte under Rudolf von Roth ved Eberhard-Karls-Universität Tübingen. Han oppnådde i 1876 filosofisk doktorgrad på avhandlingen . I 1878 ble han for sanskrit og indoeuropeisk språkvitenskap i Berlin, han ble i 1881 utnevnt til professor i de samme emner i Greifswald og i 1901 til den første professor i keltisk filologi ved Humboldt-Universität zu Berlin. Hans mest kjente student var Rudolf Thurneysen, og han ble etterfulgt som professor av Kuno Meyer.