Fakat 1924'te Lenin'in ölümünden sonra güçlerin Stalin’e toplandığından endişelenerek 1925'te Leningrad merkezli yeni bir muhalefet oluşturmuştur. 14. Parti Kongresi'nde Stalin’in savunduğu "Tek ülkede sosyalizm" tezine karşı çıkarak Troçki ile "Birleşik Muhalefet"i oluşturmuştur. 1926’de Politbüro üyeliği ve Komintern başkanlığından alınarak partiden ihraç edilmiştir.