I 1967 ble han med i KGB sammen med Andropov. Han ble utnevnt som leder i førstedirektoratets (KGBs utenrikstjeneste) sekretariat, i 1971 stedfortredende leder for direktoratet, og i 1974 formann for direktoratet, som han forble fram til 1988. I 1988 ble han armégeneral, og i desember samme år ble han KGB-sjef, utnevnt av Mikhail Gorbatsjov. Fra 20. september 1989 til 13. juli 1990 var han medlem av sentralkomiteens politibyrå.