Konev ritornò ad assumere incarichi di grande importanza dopo la morte di Stalin e l'assunzione del potere da parte di Nikita Sergeevič Chruščёv di cui divenne uno dei più fidati seguaci all'interno dell'apparato di comando delle forze armate sovietiche. Il maresciallo ritornò quindi ad assumere il ruolo di primo vice-ministro delle Difesa e comandante delle forze terrestri sovietiche e soprattutto nel 1956 divenne il primo comandante in capo delle forze armate del Patto di Varsavia, la nuova coalizione tra i paesi socialisti dell'Europa orientale organizzata dall'Unione Sovietica per contrastare la minaccia della NATO. Konev dovette subito fronteggiare la rivolta ungherese di Budapest che sembrò minacciare la coesione del sistema di alleanze sovietico; il maresciallo dimostrò fermezza e decisione; nella riunione del 31 ottobre 1956 con i massimi dirigenti, egli affermò con sicurezza che avrebbe potuto schiacciare la rivolta a Budapest in tre giorni, se avesse ricevuto le forze necessarie. L'attacco dell'Armata Rossa, effettuato con migliaia di mezzi corazzati, ebbe inizio il 4 novembre 1956 e si concluse, dopo sanguinosi combattimenti urbani, con la vittoria sovietica e la sconfitta dei rivoltosi. Il maresciallo Konev mantenne il comando supremo del Patto di Varsavia fino al 1960 quando cedette l'incarico al maresciallo Andrej Antonovič Grečko.