După moartea lui Stalin (1953), Konev a revenit în prim-planul vieții politice și militare sovietice. El a devenit aliat al noului lider sovietic, Nikita Hrușciov, fiind însărcinat cu arestarea șefului poliției secrete staliniste, Lavrenti Beria, in 1953. A fost numit din nou prim-adjunct al Ministrului Apărării și comandant al forțelor terestre, funcții îndeplinte până în 1956, când a devenit Comandant Suprem al Forțelor Armate ale Pactului de la Varșovia. La scurtă vreme de la numirea sa, Konev a condus brutala înăbușire în sânge a revoluției maghiare anticomuniste. A rămas la comanda Trupelor Pactului de la Varșovia până în 1960, când a fost trecut în rezervă. În perioada 1961 – 1962 a fost reactivat la comanda forțelor sovietice din Germania Răsăriteană. După anul 1962 a fost numit într-o funcție onorifică de Inspector-general al Ministerului Apărării.