Andropov led av en nyresykdom, og den 9. februar 1984 døde han i Moskva etter lengre tids sykeleie. Han ble etterfulgt av Konstantin Tsjernenko. I ettertid mener mange av det var Andropovs fortjeneste at Mikhail Gorbatsjov kom seg oppover i partiapparatet, og flere håpet at det var nettopp han som skulle etterfølge Andropov.