Katonai pályája 1937-től kezdett emelkedni, amikor a vezérkar tagja lett. 1942-től 1945-ig vezérkari főnök és a honvédelmi népbiztos (Sztálin) helyettese volt. Jelentős szerepet vitt a sztálingrádi ellentámadás megtervezésében, a hadműveleteket Voronovval és Zsukovval dolgozták ki. Másik nagy feladata a kurszki ütközet előkészítése volt, melynek során legfontosabb döntése az volt, hogy meg kell várni, amíg a németek támadnak, csak azután kell ellencsapást indítani. Sokszor látogatott ki az első vonalakba, Szevasztopolnál meg is sebesült. 1945-ben Csernyahovszkij halála után a 3. Belorusz Front parancsnoka lett, majd a Távol-Keletre vezényelték. Mandzsúriában és Koreában a Japán Birodalom elleni hadműveleteket irányította. 1949–1953 között a Szovjetunió honvédelmi minisztere volt. Élete utolsó éveit szolgálati teendőitől visszavonulva, emlékiratai megírásának szentelte. "„A vezérkar élén” (Дело всей жизни)" című visszaemlékezését a Zrínyi–Kossuth kiadó jelentette meg 1975-ben.