Etter at han sammen med Vjatsjeslav Molotov og Lazar Kaganovitsj forsøkte å få gjennomslag for en annen politikk uten å lykkes ble han ekskludert av partiet i 1961 og sendt i indre eksil.