В 1920—1921 годах Смирнов был одним из лидеров группы «демократического централизма», а в 1923 году — одним из лидеров Левой оппозиции, подписал «Заявление 46-ти». В 1926 году вместе с Т. В. Сапроновым образовал собственную группу, исключённую из партии в декабре 1927 года, на XV съезде. 31 декабря 1927 года был арестован и приговорён к высылке из Москвы в Уральскую область сроком на 3 года. Ссылку отбывал в Берёзове, где был поселен на квартиру к информатору ОГПУ по кличке «Колчак». В начале 1930 года В. М. Смирнов около месяца находился в Верхне-Уральском политизоляторе; 29 января ОСО при НКВД СССР был приговорён к 3 годам тюремного заключения; содержался в Суздальском политизоляторе особого назначения. 10 ноября 1932 года срок заключения был продлён на 2 года. 4 ноября 1934 года был выслан на 3 года в Западно-Сибирский край, в город Ойрот-Тура.