Но в декабре 1925 года, на XIV съезде ВКП(б), Зиновьев, поддержанный Каменевым и ленинградской делегацией, от имени «новой оппозиции» выступил против группы Сталина (Молотов, Рыков, Бухарин и др.) и партийного большинства. В 1926 году его отстранили от руководства Ленсоветом и Исполкомом Коминтерна, решением пленума ЦК вывели из Политбюро (был избран в 1921 году). Объединение с Троцким привело к тому, что в 1927 году Зиновьева вывели также из ЦК (членом которого он был с 1907 года), исключили из партии, 28 ноября исключили из Общества старых большевиков и выслали. Сторонники Зиновьева также понесли наказания по партийной и служебной линии.