Od czerwca 1943 był dowódcą Frontu Stepowego (później 2 Frontu Ukraińskiego). Na jego czele brał udział w kontrofensywie radzieckiej na łuku kurskim. 20 lutego 1944 mianowany marszałkiem Związku Radzieckiego. Pod jego dowództwem wojska radzieckie wyzwoliły Charków, sforsowały Dniepr i przeprowadziły operację kirowską oraz korsuńsko-szewczenkowską. Dokonał także rozbicia humańskiego zgrupowania wojsk niemieckich. Przeprowadził lwowsko-sandomierską operację zaczepną, w rezultacie czego została zajęta Zachodnia Ukraina. Od maja 1944 dowodził 1 Frontem Ukraińskim, którego wojska doprowadził do Berlina. Jednak mimo lepszej sytuacji strategicznej, Józef Stalin nie powierzył mu zaszczytu uderzenia na Reichstag, centrum miasta. Dokonał tego marsz. Gieorgij Żukow. W końcowym etapie wojny marszałek przeprowadził błyskawiczną akcję, efektem której było wyzwolenie Pragi.