Od prosince 1939 do července 1940 byl náčelníkem štábu VII. armádního sboru. V říjnu téhož roku byl opět v Moskvě na velvyslanectví jako vojenský atašé, kde zůstal až do napadení SSSR 22. června 1941. Stejně jako německý velvyslanec v Moskvě von Schulenburg i on byl proti vojenskému konfliktu se SSSR. Po složitém návratu do Německa se stal v lednu 1942 náčelníkem štábu u 9. armády (Model). Pro zajímavost, v té době byla 9. armáda nejblíže jeho bývalému působišti, Moskvě. U armády zůstal až do ledna příštího roku, kdy přešel opět na krátký čas do zálohy OKH. Od března 1943 již byl náčelníkem štábu Skupiny armád Střed (von Kluge), kde se opět v létě 1944 setkal s Modelem. Když byl v srpnu téhož roku Model přeložen na Západní frontu, vyžádal si jako náčelníka štábu Skupiny armád B svého osvědčeného spolupracovníka Krebse, který zde zůstal od září 1944 do února 1945. 17. února přešel jako štábní důstojník na hlavní velitelství pozemních sil OKH, měsíc na to, 15.  března, byl raněn na velitelství v Zossenu během náletu amerických bombardérů. Ale již 1. dubna se stal na měsíc náčelníkem štábu OKH místo odstupujícího generálplukovníka Guderiana a zároveň se tak stal posledním Hitlerovým náčelníkem štábu pozemních sil.