只单贬降科涅夫，所以科涅夫并无激烈不满反应。史达林逝世以后，科涅夫再次活跃起来，并成为苏共新领导人赫鲁晓夫的关键政治盟友。赫鲁晓夫于1953年委託科涅夫负责审判史达林时代的内务部长贝利亚并最终判处其死刑，1955年再次担任苏联国防部第一副部长兼苏联陆军总司令。1956年担任首任「华沙公约组织」武装力量总司令，接着因统帅职责所在，他派兵镇压了匈牙利发生的革命。1960年卸任并立即从第一线活跃舞台退休。1961年至1962年由于修建柏林墙形势紧张，又回来担任苏联驻德国集团军司令。1962年在盛大欢迎典礼