Konev venne clamorosamente richiamato in servizio attivo per un ultimo e importante compito operativo nell'estate 1961 alla vigilia della fase più critica della Crisi di Berlino del 1961. La dirigenza sovietica decise di assegnare al famoso maresciallo, per impressionare gli avversari occidentali e sostenere il morale dei capi politici della Repubblica Democratica Tedesca, il comando supremo del Gruppo di forze sovietiche in Germania in sostituzione del generale Ivan Jakubovskij che sarebbe passato a coordinare le operazioni direttamente nella città di Berlino.