1954 wurde Andropow zum sowjetischen Botschafter in Ungarn ernannt. In seine Amtszeit fiel der ungarische Volksaufstand von 1956. Aus dieser Zeit stammt auch seine lebenslange enge Freundschaft mit dem langjährigen Ersten Sekretär (später: Generalsekretär) der Ungarischen Sozialistischen Arbeiterpartei János Kádár.