A háború után Konyevet kinevezték a megszállt keletnémet és ausztriai területek főparancsnokának. 1946-ban kinevezték a Szovjetunió szárazföldi hadereje főparancsnokává a kegyvesztett Zsukov helyére. 1950-ben Sztálin menesztette, de később, Hruscsov hatalomra kerülésével visszanyerte tisztségét, melyet 1956-ig töltött be, amikor a Varsói Szerződés haderejének főparancsnoka lett, ebben a minőségében személyesen irányította a Forgószél hadműveletet, az 1956-os magyar forradalom leverését. 1960-ban vonult nyugdíjba. Haláláig a Vörös Hadsereg legnépszerűbb hadvezére volt.