Během své rychlé kariéry u Wehrmachtu vedl 4. armádu ve Francii, v Polsku a konečně i při tažení proti Sovětskému svazu.19. července 1940 byl na tzv. ceremonii polních maršálů povýšen na polního maršála. 18. prosince 1941 nahradil Fedora von Bocka ve velení Skupiny armád Střed, jejímž úkolem bylo dobytí Moskvy. V roce 1942, u příležitosti svých 60. narozenin, obdržel od Hitlera dar v hodnotě více než 250 000 říšských marek společně se slibem, že si může vybrat nový dům a vše bude placeno ze státní kasy. Takto podplácen nebyl jen maršál Kluge, Hitler si loajalitu svých generálů kupoval penězi často, jako příklad můžeme uvést maršála von Rundstedta, maršála von Leeba či generálplukovníka Heinze Guderiana.