Il 1º agosto 1938 venne promosso colonnello. Il 24 novembre 1938 divenne capo di stato maggiore del VII Corpo d'Armata tedesco. In questa veste prese parte all'invasione della Polonia e alla campagna sul fronte occidentale. Il 1º novembre 1940 divenne capo di stato maggiore della II armata. Nell'aprile del 1941, la 2ª armata effettuò con successo una serie di attacchi in Jugoslavia nella campagna dei Balcani. All'inizio dell'Operazione Barbarossa, la II armata era ancora considerata come riserva dell'esercito, ma successivamente venne anch'essa schierata nell'area meridionale del fronte orientale, combattendo quindi a Vjaz'ma e Bryansk. Dal 26 ottobre 1941, a causa di una grave malattia, Witzleben fu trasferito in riserva e venne promosso maggiore generale il 1º giugno 1942.