Während des Zweiten Weltkriegs nahm Zimmermann als Offizier und Panzerkommandant am Westfeldzug und am Deutsch-Sowjetischen Krieg teil. Seine Einsatzgebiete waren unter anderem die Kesselschlachten von Minsk und Wjasma, die Eroberung der Krim und das Baltikum, wo er im April 1945 über die Ostsee aus dem Kurland-Kessel evakuiert wurde. Sein letzter Dienstgrad war Hauptmann. Ausgezeichnet wurde er unter anderem mit dem Eisernen Kreuz Zweiter und Erster Klasse (1941) und dem Verwundetenabzeichen in Silber (1942). Für „schlachtentscheidendes Verhalten“ im Februar 1945 wurde er einen Monat vor Kriegsende noch mit dem Ritterkreuz des Eisernen Kreuzes dekoriert.