Nach Beginn des Zweiten Weltkrieg blieb er als Generalmajor (seit Juni 1940) Stabschef der Transkaukasusfront, von Dezember 1941 bis Januar 1942 war er Stabschef der Kaukasusfront. Er entwickelte den Plan für die Landung in der Kertsch-Feodossijaer Operation. Von Januar bis März 1942 war er Stabschef der Krimfront. Am 10. März 1942 wurde er von seinem Posten als Frontstabschef entbunden und nach Moskau gerufen. Nach einem Treffen mit dem Chef des Generalstabs, Marschall Boris M. Schaposchnikow wurde er zum stellvertretenden Kommandeur des Militärbezirks Stalingrad ernannt und Ende Juli zum Oberbefehlshaber der 57. Armee der neu geschaffenen Stalingrader Front ernannt. Im Zuge der Schlacht von Stalingrad wurde die 57. Armee im südlichen Vorfeld der Stadt etabliert und nahm Mitte November an der Operation Uranus und der Einschließung der deutschen 6. Armee teil. Im März 1943 wurde er zum Kommandeur der Südfront ernannt und am 28. April zum Generaloberst ernannt. Vom 17. Juli bis 2. August 1943 versuchte er vergeblich die deutschen feindlichen Verteidigungsanlagen am Mius zu durchbrechen. Am 21. September 1943 wurde er zum Armeegeneral befördert. Am 20. Oktober 1943 wurde die Südfront in 4. Ukrainische Front umbenannt, welche die Befreiung von Nordtaurien und bis Mai 1944 die Rückeroberung der Halbinsel Krim erreichte.