De 1954 à 1958, il est le premier Président du KGB. Il avait aidé Nikita Khrouchtchev à éliminer Beria en 1953, immédiatement après la mort de Staline. Il organise en 1956 avec l'ambassadeur d'URSS à Budapest, Iouri Andropov, l'écrasement sanglant de l'insurrection hongroise.