Ωστόσο, μετά το θάνατο του Στάλιν, ο Κόνιεφ επέστρεψε στο προσκήνιο. Έγινε βασικός σύμμαχος του νέου ηγέτη του Κόμματος, Νικήτα Χρουστσόφ, και του ανατέθηκε η δίκη του αρχηγού της σταλινικής αστυνομίας, Λαβρέντι Μπέρια, το 1953. Διορίστηκε και πάλι ως Πρώτος Αναπληρωτής Υπουργός Άμυνας και διοικητής των σοβιετικών χερσαίων δυνάμεων, θέσεις που κατείχε μέχρι το 1956, όταν ορίστηκε Διοικητής των Ενόπλων Δυνάμεων του Συμφώνου της Βαρσοβίας. Λίγο μετά το διορισμό του ηγήθηκε της καταστολής της Ουγγρικής Επανάστασης.