V květnu roku 1944 se stal velitelem 2. ukrajinského frontu, který provedl útok na Rumunsko, díky čemuž se Rumuni přidali na stranu Spojenců. V září 1944 byl jmenován maršálem Sovětského svazu. Jeho vojska pokračovala v útoku na Maďarsko a v únoru 1945 dobyla Budapešť. V dubnu se probila na Slovensko a postupovala na Moravu. Osvobodila Brno a vedla útoky na německá vojska na jihovýchodní Moravě. Počátkem května obdržela rozkaz k postupu na Prahu od jihovýchodu. Do Prahy se ovšem o jen několik hodin dříve probila vojska maršála I. S. Koněva útočící ze severu z prostoru Drážďan (konkrétně 3. a 4. gardová tanková armáda). V květnu 1945 dosáhly jednotky 2. ukrajinského frontu jižních Čech, kde se setkaly s americkými jednotkami. Po ukončení bojů v Evropě byl odvelen na Dálný východ, kde velel Zabajkalskému frontu v bojích při operaci Srpnová bouře.