Etter krigen ble Konev utnevnt til sjef for den sovjetiske okkupasjonsmakten i Øst-Tyskland og til alliert høykommissær for Østerrike. I 1946 ble han sjef for de sovjetiske bakkestyrkene, før han fikk stillingen som viseforsvarsminister i Sovjetunionen. Senere utnevnte Stalin ham til kommandør for et undernasjonalt område i Sovjetunionen. Dette var helt klart en degradering, og var i tråd med Stalins politikk når det gjaldt å kvitte seg med populære militære ledere fra krigstiden slik at de ikke ville utgjøre noen trusler mot Stalins ledende posisjon som generalsekretær.