En 1977 fue relegado de su cargo ante el poderoso Leonid Brézhnev y expulsado del Politburó.