Zimmern ble i 1884 dr.phil. i semittiske språk ved Universitetet i Leipzig. Han habiliterte seg i 1889 ved Universitetet i Königsberg. Etter habilitasjonen var han fra 1889 til 1890 privatdosent i assyriologi i Königsberg. Fra 1890 til 1894 var han privatdosent i samme felt ved Universitetet i Halle. Deretter var han 1894–1900 dosent ved Universitetet i Leipzig. Fra 1899 til 1900 hadde han også stilling ved Universitetet i Breslau. Zimmern ble i 1900 professor i orientalske språk ved Universitetet i Leipzig, en stilling han hadde til 1929.