Po Stalinově smrti se stal náměstkem ministra obrany. V roce 1955 se stal ministrem obrany SSSR za podpory Nikity Chruščova. V této funkci byl také pověřen vypracováním plánu na potlačení maďarského povstání, který následně realizovala sovětská invazní vojska pod vedením maršála Koněva. V červnu 1957 se na čtyři měsíce stal i členem ústředního výboru KSSS. Pak byl Chruščovem vyloučen, obviněn z bonapartismu a bylo mu nařízeno přísné domácí vězení. O jeho povaze a charakteru vypovídá reakce na toto obvinění. Označil jej za urážlivé s komentářem, že na rozdíl od Napoleona, on válku vyhrál. Po Chruščovově sesazení z čela strany i státu roku 1964 se nakrátko objevil na veřejné scéně, ale mnohé zákazy ohledně vystupování na veřejnosti zůstaly. Přispíval tak alespoň do různých časopisů a novin.