Po napaści Niemiec na ZSRR był dowódcą Frontu Zachodniego, zastępcą dowódcy i dowódcą Frontu Briańskiego (sierpień – październik 1941), od grudnia do lutego 1942 dowódcą 4 Armii Uderzeniowej, w okresie sierpień 1942 – luty 1943 dowódcą Frontu Południowo-Wschodniego, Frontu Stalingradzkiego i Frontu Południowego. W latach 1943–1945 pod jego dowództwem znalazły się kolejno: Front Kaliniński 9 kwietnia – listopad 1943, Samodzielna Armia Nadmorska (walcząca na Krymie luty – kwiecień 1944), 2 Front Nadbałtycki (kwiecień 1944 – luty 1945) i 4 Front Ukraiński (marzec – maj 1945). Uczestniczył w bitwach: moskiewskiej i stalingradzkiej, walk pod Smoleńskiem, wyzwolenia Krymu, wybrzeża Bałtyku i Czechosłowacji. Był trzykrotnie ranny.