En 1967, fue relevado de su trabajo en el aparato del Comité Central y nombrado jefe de la KGB bajo la recomendación de Mijaíl Súslov obteniendo poderes adicionales en 1973, cuando fue ascendido a miembro de pleno derecho del Politburó.