Tras ingresar al Partido Comunista en 1939, ocupó varios cargos dentro del mismo. En 1954, fue nombrado embajador en Hungría, puesto que ocupó hasta 1957 y, según los historiadores, desempeñaría un rol importante en el aplastamiento de la rebelión que se estaba dando contra el gobierno comunista en 1956. Tras volver a Moscú, continuó su carrera encabezando el Departamento de Relaciones con los Partidos Comunistas y Obreros de los Países Socialistas hasta 1967, año en el que fue nombrado director de la KGB y estaría al frente de esta agencia hasta 1982.