V květnu 1955 byl postaven do čela Hlavního velitelství spojených ozbrojených sil členských států Varšavské smlouvy. Na podzim 1956 vedl brutální potlačení Maďarského povstání sovětskou armádou (Koněvova vnučka Jelena toto povstání označila za „pokus nedoražených fašistů obrátit čas nazpět“), které si vyžádalo přes dva a půl tisíce obětí. Také měl potlačit obrodné choutky Władysłava Gomułky v PLR, z této mise ho ale nakonec Chruščov odvolal. V letech 1961–62 byl velitelem Skupiny sovětských vojsk v Berlíně během tzv. Druhé berlínské krize z let 1958 až 1961, která vyvrcholila výstavbou tzv. Berlínské zdi. Koněv velel sovětským vojskům ve východním Německu v době stavby Berlínské zdi, ale k rozhodnutí postavit zeď došlo zřejmě především z iniciativy N. S. Chruščova na setkání nejvyšších představitelů Varšavské smlouvy v srpnu 1961, poté co Chruščov odmítl návrh Waltera Ulbrichta obsadit Západní Berlín vojenskou silou, a zeď se budovala pod dohledem ozbrojených sil NDR. Roku 1963 byl jmenován na spíše ceremoniální funkci do Skupiny generálních inspektorů Ministerstva obrany SSSR.