V průběhu jara a léta 1942 se marně pokoušel o prolomení německé obrany v oblasti Rževa, v srpnu 1942 se stal velitelem Západního frontu, jehož vojska ztroskotala při snaze o průlom nepřátelské fronty během operace Mars v oblasti Syčovky. Po krachu dalšího pokusu o ofenzívu počátkem roku 1943 byl v březnu 1943 jmenován velitelem Severozápadního frontu, koncem června 1943 se stal velitelem Stepního frontu, který vedl bojové akce v jižním oblouku kurského výběžku a následně se podílel na osvobozování levobřežní Ukrajiny. Od října 1943 velel 2. ukrajinskému frontu, během zimní ofenzívy 1943–1944 se podílel na osvobozování pravobřežní Ukrajiny od Němců, kteří zde zřídili tzv. Říšský komisariát Ukrajina. Při Korsuň-ševčenkovské operaci se podílel na rozsáhlé obkličovací akci Rudé armády proti Wehrmachtu. V únoru 1944 byl povýšen na maršála Sovětského svazu. Velel sovětským vojskům během Lvovsko-sandoměřské operace, která navazovala na Operaci Bagration, a 18. července 1944 jeho jednotky obklíčily město Brody, kde zůstalo uvězněno 45 tisíc Němců.