Bij het begin van de Tweede Wereldoorlog nam Herr als commandant van de gemotoriseerde 66e infanterie-regiment, onderdeel van de "13. Infanterie-Division", deel aan de inval van Polen en aan het Westfront in 1940. Op 14 oktober 1940 nam Herr de commando over van "Schützen-Brigade 13", een voorloper van de pantsergrenadier, en was met deze eenheid als onderdeel van de 13e Pantserdivisie betrokken bij Operatie Barbarossa. Vanaf 1 december 1941 werd hij commandant van de "13. Panzer-Division". Bij gevechten in Noord-Kaukasus in oktober 1942 raakte Herr zwaargewond door een granaatsplinter in zijn hoofd. Na zijn herstel werd hij in de "Führerreserve" geplaatst. In juni 1943 werd hij naar "Heeresgruppe D" uitgezonden om de leiding van de "LXXVI. Armeekorps" (76e Legerkorps) op zich te nemen, die later omgezet werd in "LXVI. Panzerkorps". Hierbij werd Herr bevorderd tot "General der Panzertruppe". Van 28 februari tot 16 april 1944 gaf hij kortstondig zijn commando op; het is niet bekend om welke redenen dit is gebeurd.