1954年至1957年，安德羅波夫擔任蘇聯駐匈牙利大使，他參與了鎮壓1956年匈牙利革命的活動。 1967年5月10日，他被任命為克格勃主席。他監督了大規模鎮壓異議的行動，這種鎮壓是通過大規模逮捕和大規模實施被認為“在社會上不受歡迎”的人的非自願精神病治療來進行的。勃列日涅夫在其領導的最後幾年健康狀況下降，安德羅波夫與外交部長安德烈·葛罗米柯和國防部長德米特里·烏斯季諾夫組成三駕馬車，最終主導了蘇聯的政策。