Po Stalinovej smrti sa znovu dostal do popredia. Spolu s Chruščovom sa podieľal na odstránení šéfa NKVD Lavrentija Beriju. Od roku 1953 bol 1. námestníkom ministra obrany a od roku 1955 ministrom obrany ZSSR. Veľkou mierou sa zaslúžil o zavedenie jadrových zbraní do výzbroje sovietskej armády. Rozsiahlych cvičení v zamorených priestoroch, ktorým velil sa zúčastnilo asi 45 000 vojakov. Mnohí z nich v dôsledku silnej radiácie ochoreli alebo zomreli. Organizoval potlačenie Maďarského povstania v roku 1956.