Po vojne slúžil od 9. júla 1945 v Kyjeve ako veliteľ vojenského okruhu. 3. augusta 1953 bol povýšený do hodnosti armádny generál. Podpora Chruščova mu od roku 1953 priniesla vynikajúcu kariéru. 11. marca 1955 bol povýšený do hodnosti maršala. Stal sa najskôr 26. mája 1953 veliteľom vojsk v Nemecku, potom od 12. novembra 1957 stál v čele pozemných vojsk. V novembri sa stal 1. námestníkom ministra obrany. 7. apríla 1960 sa stal zároveň hlavným veliteľom spojených ozbrojených síl zemí Varšavskej zmluvy. Po smrti maršala Malinovského v apríli 1967 bol vybraný za nového ministra obrany ZSSR. Podieľal sa na príprave vpádu vojsk Varšavskej zmluvy do Česko-Slovenska v lete 1968. V roku 1973 bol zvolený aj do politbyra, po šestnástich rokoch neprítomnosti zástupcu armády v najvyššom straníckom orgáne.