Han ble ekskludert fra politbyrået og fra sentralkomitéen i 1957 og fra selve partiet i 1961. Sine siste arbeidsår var han direktør for en sementfabrikk i Ural-fjellene. Han pensjonerte seg i 1963, og returnerte til Moskva, der han levde et tilbaketrukket liv.