В 1920—1921 годах — один из лидеров легальной группы (фракции) «демократического централизма». Осенью-зимой 1923—1924 годов был одним из лидеров Левой оппозиции, выступал в партийной печати и на многочисленных собраниях, а также на XIII конференции РКП(б). И в дальнейшем разделял многие идеи Левой оппозиции, но отвергал её политику реформы ВКП(б) в пользу основания новой партии. В 1926 году вместе с В. М. Смирновым образовал собственную группу, исключённую из партии в декабре 1927 года на XV съезде. В 1928 году был сослан в Крымскую АССР.