Durant la Seconde Guerre mondiale, Herbert Zimmermann participe en qualité d'officier et commandant de char, dans la 22e Panzerdivision, à la guerre germano-soviétique. Il participe aux batailles d'encerclement de Minsk et Viazma ainsi qu'à la conquête de la Crimée et des pays baltes. Il est évacué en avril 1945 à travers la mer Baltique de la poche Courlande. Son dernier rang était capitaine. Il a reçu la Croix de fer deuxième et de première classe (1941) et l'Insigne des blessés en argent (1942).