С 1923 года принадлежал к левой оппозиции в РКП(б), был одним из её лидеров, подписывал все её основные документы, начиная с «Заявления 46-ти», за что в декабре 1927 года, на XV съезде ВКП(б), в числе 75 «активных деятелей троцкистской оппозиции» был исключён из партии и в начале 1928 года по «контрреволюционной» 58-й статье УК осуждён к 3 годам ссылки в Ново-Баязет (Армения). Виктор Серж свидетельствует: «Когда у него отобрали министерский портфель, он был доволен. „Всем нам пошло бы на пользу некоторое время побыть рядовыми“… Не имея ни гроша, он отправился на биржу труда регистрироваться как безработный по специальности точной механики. Он простодушно надеялся быстро найти работу на каком-нибудь заводе. Мелкий советский чиновник оторопел, как перед его окошком склонился этот высокий седеющий добряк с живыми глазами, написавший в анкете, которую ему дали заполнить, в рубрике „последняя занимаемая должность“: „Нарком ПТТ“. Биржа труда проконсультировалась в ЦК, и ГПУ сослало Ивана Никитича в Закавказье. Возмутительные репрессии начинались мягко». Об этом также свидетельствовал Иосиф Бергер: «он лишился работы, но не стал прибегать к помощи высокопоставленных друзей, а натянул кепку и встал в очередь вместе с другими безработными на бирже труда».