Han hadde denne stillingen fram til 1960, da han trakk seg tilbake fra aktiv militær tjeneste. I 1961 til 1962, derimot, ble han kalt tilbake, og var igjen sjef for de sovjetiske styrkene i Øst-Tyskland. Han ble deretter utnevnt til den stort sett seremonielle stilling som generalinspektør i det sovjetiske Forsvarsdepartementet. Konev forble en av Sovjetunionens mest beundrede militære ledere helt frem til sin død i 1973.