Po napadení SSSR nacistickým Německem působil na řadě bojišť často jako muž poslední naděje a to velmi úspěšně. Setrvával přitom ve funkci zástupce náčelníka generálního štábu, zřejmě s vyhlídkami na post budoucího náčelníka. V červenci 1942 odešel na vlastní žádost do funkce velitele Voroněžského frontu. V listopadu 1942 vedl jako velitel Jihozápadního frontu hlavní protiúder u Stalingradu vedoucí k obklíčení Paulusovy 6. německé armády. Na jaře 1943 obsadil Donbaskou oblast. Při pokusu o dosažení Dněpru utrpěl jedinou vážnou porážku své kariéry při Mannsteinově bočním úderu, nicméně stabilizoval frontu v jižní části Kurského oblouku. V Bitvě u Kurska úspěšně odrazil německou ofenzívu proti jižnímu úseku fronty a počátkem srpna přešel do protiútoku. Po vyčerpávajících bojích v srpnu-září 1943 se rozhodující měrou podílel na vyčištění východní Ukrajiny od německých oddílů a vytvořil dněperská předmostí na západním břehu řeky. Z Ljutěžského předmostí pak 6. listopadu 1943 (už v hodnosti armádního generála a velitele Prvního ukrajinského frontu) osvobodil Kyjev. V prosinci 1943 a lednu 1944 provedl své dvě poslední úspěšné operace-žitomirskou a rovenskou a současně se podílel s I. S. Koněvem na úspěšné obkličovací korsuň-ševčenkovské operaci.