Sus compañeros de partido lo retiraron del poder en 1964, reemplazándolo Leonid Brézhnev como primer secretario y Alekséi Kosygin como presidente del Consejo de Ministros.