Niedługo po wojnie, w 1951 Andropow przeprowadził się do Moskwy, gdzie pracował w KC KPZR. Jako inspektor KC KPZR nadzorował pracę organizacji partyjnych republik nadbałtyckich. Po śmierci Stalina Malenkow próbował usunąć ze stanowiska I Sekretarza KC Komunistycznej Partii Litwy Antanasa Sniečkusa. Na czele delegacji, która pojechała do Wilna w celu zbadania sprawy postawiony został Andropow. Jednakże kontrola nie wykazała sugerowanych przez Malenkowa nieprawidłowości, w związku z czym Andropow postanowił nie zgłaszać wniosku o usunięcie szefa partii w Litewskiej SRR. Od lipca 1954 roku do marca 1957 roku był ambasadorem Związku Radzieckiego na Węgrzech. W czasie swego pobytu na placówce w Budapeszcie był odpowiedzialny za organizację tłumienia powstania narodowego pod wodzą Imre Nagya i osadzenie Jánosa Kádára. Po dojściu do władzy Nikity Chruszczowa i przeprowadzeniu pewnej "destalinizacji" Andropow wrócił (w 1957) do pracy w KC KPZR. Od 31 października 1961 do śmierci był członkiem KC.