Учествовао је у ослобађању великог дела источне Европе, као и Берлина, главног града нацистичке Немачке. Године 1956, као командант снага Варшавског пакта, Коњев је командовао совјетским трупама у сузбијању Мађарске револуције.