Die ersten beiden Nachkriegsjahre hatte er den Oberbefehl der zentralen Gruppe der sowjetischen Landstreitkräfte in Österreich und Ungarn inne, die folgenden 10 Jahre den über alle sowjetischen Landstreitkräfte. 1955 bis 1960 war er „Oberkommandierender der Streitkräfte des Warschauer Vertrages“ und Stellvertreter des sowjetischen Verteidigungsministers. In dieser Funktion ließ er den Volksaufstand in Ungarn niederschlagen. Auf dem Höhepunkt der Berlinkrise 1961 und 1962 war Konew Oberkommandierender der Gruppe der Sowjetischen Streitkräfte in Deutschland. Die Schließung der Grenzen der DDR zu den Westsektoren Berlins, die den Beginn des Mauerbaus darstellen sollte, wurde von ihm und seinen Streitkräften militärisch kontrolliert. 1963 wurde er zum Chefinspektor des Verteidigungsministeriums ernannt.