Etter Stalins død returnerte Konev til hovedstaden der han ble en viktig alliert av den nye partilederen, Nikita Khrusjtsjov. Han ble igjen utnevnt til første viseforsvarsminister og sjef for de sovjetiske bakkestyrkene. Kort tid etter disse utnevnelsene ledet han undertrykkelsen av den ungarske oppstanden i 1956.