Josif Stalinin kuoltua maaliskuussa 1953 Andropov joutui entisenä NKVD:n työntekijänä epäsuosioon ja ”karkotettiin” suurlähettilääksi Budapestiin, jossa hänellä oli avainrooli kansannousun verisessä tukahduttamisessa Varsovan liiton miehittäessä Unkarin vuonna 1956.