Na začiatku druhej svetovej vojny sa podieľal na Poľskej a Francúzskej kampani ako dôstojník štábov 16. armády, IV. armádneho zboru a napokon ako veliteľ 3. tankovej divízie. Vďaka svojim politickým názorom, ako aj úspechom na bojisku sa tešil Hitlerovej priazni. Bol veľmi obľúbený aj medzi vojakmi, napriek tomu, že medzi štábnymi dôstojníkmi, s ktorými pracoval bol pre svoju prísnosť veľmi nepopulárny. Počas operácie Barbarossa velil XLI. tankovému zboru, jeho jednotky sa pohybovali na hrote útoku na Moskvu a dostali sa do vzdialenosti necelých od sovietskeho hlavného mesta. V januári 1942 bol poverený velením 9. armády a vyznamenaný Dubovými ratolesťami k Železnému krížu. Jeho jednotky neskôr vybojovali sériu krvavých zrážok počas prvej a druhej bitky o Ržev, kde spôsobili útočiacej Červenej armáde ťažké straty. V týchto bojoch sa ukázal ako skvelý taktik a dobrý improvizátor dobre zvládajúci obranné boje. Jeho úspechy v obranných bojoch si Hitler veľmi cenil a nasadzoval ho všade tam, kde požadoval od jednotiek aby neustupovali, často na tých nejohrozenejších úsekoch frontu. I preto ho niekedy prezývali „Hitlerov hasič“.