Od 1. srpna 1941 byl již jako generálmajor jmenován zástupcem náčelníka generálního štábu pro operativní činnost. V říjnu při postupu Wehrmachtu na Moskvu se podílel na obranných bojích okolo Možajsku a byl povýšen na generálporučíka. Od dubna do května 1942 se účastnil u Severozápadního frontu pokusu o likvidaci Demjanského předmostí. V květnu 1942 vystřídal nemocného maršála Šapošnikova ve funkci náčelníka generálního štábu a byl povýšen na generálplukovníka. Poté, co v červnu 1942 padl generál Vlasov i s 2. armádou u Leningradu do zajetí, plánoval společně s velitelem Volchovského frontu Kirilem Mereckovem vyvedení vojska z obklíčení. V červenci 1942 byl poslán na stalingradskou frontu a společně s G. K. Žukovem se podílel na obklíčení a porážce Němců u Stalingradu. Dne 16. února 1943 byl povýšen na maršála SSSR, což byl neobvyklý skok, protože armádním generálem byl jmenován teprve před 29 dny. (jeho postup vzhůru byl v sovětské armádě nejrychlejším ze všech vojáků, co titul maršála SSSR kdy obdrželi). Poté se podílel na takových operacích jako Kursk, Donbas, Krym-Sevastopol. Dne 29. července 1944 mu byl udělen titul Hrdina Sovětského svazu. Účastnil se též jaltské konference. Od února 1945 velel 3. běloruskému frontu a velel útoku (vyjednávání) na Kaliningradskou pevnost. V srpnu 1945 velel vojskům na Dálném východě v boji proti Japoncům. Za úspěšné vedení operací na Dálném východě mu byl dne 8. září 1945 udělen druhý titul Hrdina Sovětského svazu.