После Стаљинове смрти, Коњев је постао кључни савезник новог партијског вође Никите Хрушчова, коме је поверено суђење бившем шефу НКВД-а Лаврентија Берије 1953. године. Опет је постављен за првог заменика министра одбране и команданта совјетских копнених снага, оставши на том положају до 1956, када је именован за команданта трупа Варшавског пакта. Убрзо након што је ступио на дужност је предводио гушење Мађарске револуције.