鲁晓夫的关键政治盟友。赫鲁晓夫于1953年委託科涅夫负责审判史达林时代的内务部长贝利亚并最终判处其死刑，1955年再次担任苏联国防部第一副部长兼苏联陆军总司令。1956年担任首任「华沙公约组织」武装力量总司令，接着因统帅职责所在，他派兵镇压了匈牙利发生的革命。1960年卸任并立即从第一线活跃舞台退休。1961年至1962年由于修建柏林墙形势紧张，又回来担任苏联驻德国集团军司令。1962年在盛大欢迎典礼里，接受担任考核将领的「苏联国防部」新职务。直到1973年他去世一直是苏联红军里最受人钦佩的众多军事