I 1953 ble han utnevnt til forsvarsminister og allierte seg med Nikita Khrusjtsjov i dennes maktkamp med Georgij Malenkov. I februar 1955 etterfulgte han Malenkov som Sovjetunionens statsminister. Han støttet Khrusjtsjovs program og anti-stalinisme og reiste sammen med Khrusjtsjov til India, Jugoslavia og Storbritannia.