Nel 1923 passò tra le file dell'opposizione trockista. Ad ottobre Smirnov firmò la "Dichiarazione dei 46" e poi nel 1927, la "Dichiarazione degli 83", entrambe manifesti dell'opposizione al regime stalinista. Alla morte di Lenin, Smirnov insistette pubblicamente per la deposizione di Iosif Stalin dal posto di Segretario Generale del Partito. L'11 novembre 1927, venne rimosso dalla carica di Commissario del Popolo per le Poste e i Telegrafi. Un mese dopo, fu anche espulso dal Partito Comunista per decisione del XV Congresso del Partito. Il 31 dicembre 1927, Smirnov venne condannato a tre anni di esilio su decisione speciale dell'OGPU.