С 1923 года принадлежал к Левой оппозиции, хотя во внутрипартийной дискуссии 1923—1924 гг. принять участия не мог. Вскоре стал одним из идейных лидеров оппозиции. В 1927 году был снят со всех должностей, исключён из ЦК и на XV съезде ВКП(б) исключён из партии в числе 75-ти «активных деятелей оппозиции». Особым совещанием при ОГПУ приговорён к 4 годам ссылки и выслан в Костанай, а в 1931 году вновь приговорён к 4 годам ссылки и выслан в Барнаул.