Han var av mange ansett til å være den utkårede til Leonid Bresjnevs etterfølge, men han ble forbigått av Jurij Andropov i valget på generalsekretær da Bresjnev døde i 1982. Grunnen til dette var at det fantes en del kritiske røster til Tsjernenko både i KGB og den røde hær. Derfor falt valget på Andropov, som også var leder av KGB.