En 1928, Stalin viró contra sus antiguos aliados, derrotando a Bujarin, Rýkov y Tomski en el pleno del Comité Central de abril de 1929, forzando a Tomski a dimitir de su puesto como líder del movimiento sindical soviético en mayo de 1929. Tomski fue puesto a cargo de la industria química soviética, una posición que ocupó hasta 1930. No fue reelegido miembro del Politburó tras el XVI Congreso del Partido Comunista de la Unión Soviética en julio de 1930, aunque permaneció como miembro de pleno derecho del Comité Central hasta el siguiente Congreso, celebrado en enero de 1934, cuando fue degradado a miembro candidato (sin derecho a voto).