Han overtok som generalsekretær for kommunistpartiet i 1982, da Leonid Bresjnev døde. At nettopp Andropov ble valgt var overraskende. De fleste ventet at Konstantin Tsjernenko skulle bli utnevnt til Sovjetunionens nye leder. I vesten ble valget mottatt med mistenksomhet, spesielt siden Andropov hadde vært leder av KGB og hans rolle ved invasjonen av Ungarn i 1956.