Efter andra världskriget var Konev chef för de sovjetiska ockupationsstyrkorna i Österrike och efterträdde i november 1946 Georgij Zjukov som befälhavare för Sovjetunionens markstridskrafter. Konev lämnade denna post 1950, var därefter bland annat befälhavare för det Transkarpatiska militärdistriktet för att 1955 åter bli chef för markstridskrafterna. Konev var 1955–1960 överbefälhavare i Warszawapakten och ledde bland annat den sovjetiska invasionen av Ungern under Ungernrevolten 1956. Under Berlinkrisen 1961 och fram till april 1962 var Konev befälhavare för Sovjetunionens militära styrkor i Tyskland. Fram till sin död var han sedan generalinspektör.