Grunnet en intern strid i kommunistpartiet, hvor han kom i konflikt med Leonid Bresjnev, mistet han imidlertid sin posisjon i Politbyrået i 1976.