V roce 1941 se vrátil do aktivní vojenské služby, kde byl jmenován velitelem 48. střeleckého sboru. Po zahájení Velké vlastenecké války velel od srpna 1941 6. armádě, s níž vedl poměrně úspěšné ústupové boje. Dne 18. listopadu 1941 se stal velitelem Jižního frontu. V první polovině roku 1942 zažil největší neúspěch své kariéry, když jeho vojska byla rozprášena německou přesilou, přičemž front přišel o 200 000 vojáků. Přes tento neúspěch byl v červenci 1942 jmenován zástupcem velitele Severokavkazského frontu a zároveň velitelem Donské armádní skupiny. V srpnu až říjnu 1942 velel 66. armádě, v bitvě o Stalingrad velel od prosince 1942 2. gardové armádě. V těchto bojích zabránil Mansteinovi, aby osvobodil obklíčenou 6. armádu generála Pauluse. V únoru roku 1943 byl jmenován velitelem Jižního frontu a krátce nato Jihozápadního frontu, v dubnu 1943 mu byla udělena hodnost armádního generála. V říjnu 1943 byl Jihozápadní front přeměněn na 3. ukrajinský front a on sám jako jeho velitel s ním dobyl Donbas, západní Ukrajinu a v dubnu 1944 i své rodné město Oděsu.