史達林逝世以後，科涅夫再次活躍起來，并成為苏共新領導人赫魯晓夫的關鍵政治盟友。赫魯晓夫於1953年委託科涅夫负责審判史達林時代的内务部长貝利亞並最终判处其死刑，1955年再次擔任苏联国防部第一副部长兼蘇聯陸軍總司令。1956年担任首任「華沙公約組織」武装力量总司令，接著因統帥職責所在，他派兵镇压了匈牙利发生的革命。