Tomski oli lähtöisin työläisperheestä ja työskenteli itsekin nuoruudessaan tehdastyöläisenä Pietarissa. Hän lähti nuorena mukaan ammattiyhdistystoimintaan ja menetti sen seurauksena työpaikkansa. Hän liittyi Venäjän sosiaalidemokraattiseen työväenpuolueeseen vuonna 1904. Jouduttuaan työnantajien mustalle listalle hän muutti Tallinnaan, jossa hän osallistui työläisneuvoston ja metallityöläisten ammattijärjestön perustamiseen vuoden 1905 vallankumouksen aikana. Tomski pidätettiin ja karkotettiin Siperiaan, josta hän kuitenkin karkasi ja palasi Pietariin. Hänet valittiin kaivertajien ammattiliiton johtajaksi. Tomski osallistui sosiaalidemokraattien vuoden 1907 Lontoon-puoluekokoukseen bolševikkien edustajana. Hän oli poliittisen toimintansa vuoksi vangittuna 1908–1909 ja uudelleen joulukuusta 1909 aina vuoden 1917 helmikuun vallankumoukseen asti.