След смъртта на Сталин, Конев се превръща в ключов съюзник на новия лидер на партията Никита Хрушчов, като на него се поверява делото срещу ръководителя на полицията на Сталин Лаврентий Берия през 1953 г. Отново е назначен за първи заместник на министъра на отбраната и командващ на съветските Сухопътни войски – пост, който заема до 1956 г. През 1955 г. е назначен за главнокомандващ военните части на Варшавския договор. Скоро след като заема поста, той ръководи потушаването на антикомунистическото Унгарско въстание. През октомври 1957 година по време на изключването на маршал Жуков от състава на ЦК на партията застава на страната на неговите противници .