Nel 1923 egli fu tra quanti firmarono la "Dichiarazione dei 46". Nel 1926 Smirnov, insieme a Timofei Sapronov, formò il "gruppo dei 15", che si unì all'opposizione capeggiata da Trockij, Zinov'ev e Kamenev. Furono tutti espulsi dal Partito Comunista durante il XV Congresso nel dicembre 1927. Successivamente, il 31 dicembre 1927, Smirnov venne arrestato e condannato all'esilio per un periodo di tre anni. Il 29 gennaio 1930, venne nuovamente condannato a tre anni di carcere. Il 10 novembre 1932, la condanna fu estesa ad ulteriori due anni. E il 4 novembre 1934, venne infine inviato per tre anni in Siberia. A seguito dell'assassinio di Kirov, nel marzo 1935, Smirnov fu arrestato ancora e per decisione speciale della NKVD, a partire dal 22 maggio 1935, imprigionato nuovamente per altri tre anni. All'inizio del 1937, mentre si trovava nella prigione speciale di Suzdal, Smirnov inviò delle lettere a Nikolaj Ivanovič Ežov, Commissario del Popolo per gli Affari Interni, protestando contro la sua detenzione. Il 20 aprile dello stesso anno, egli fu trasferito a Mosca e, il 26 maggio 1937, il Collegio Militare della Corte Suprema dell'URSS presieduta da V. Ulrich lo condannò a morte per aver preso parte ad organizzazioni terroriste controrivoluzionarie. Smirnov venne fucilato il giorno stesso della sentenza, diventando una vittima delle "Grandi Purghe".