Окончив зубоврачебную школу в Риге, работал зубным техником. В 1903 вступил в РСДРП, большевик. Вёл революционную работу в Петербурге, Кронштадте, Сестрорецке, Москве и других городах. Участник Революции 1905—1907 годов. С 1906 член Петербургского комитета РСДРП, с 1907 — ответственный организатор и член Петербургского исполнительного комитета РСДРП. С 1909 работал в Московском комитете РСДРП, руководил им. В 1909 арестован и сослан в Нарымский край, в 1910 бежал. В 1912 на 6-й (Пражской) конференции РСДРП (был её делегатом от Москвы) избран членом ЦК и его Русского бюро. Тогда же повторно арестован и выслан в Тобольскую губернию, в город Туринск, откуда переведен в село Демьянское Тобольского уезда. В декабре 1912 года бежал. В 1913 вновь арестован и выслан в Туруханский край в Сибири и освобождён только после Февральской Революции. В письме из ссылки к жене Яков Свердлов, близко сошедшийся с Голощёкиным в ссылке, так описывал его характер: «Он стал форменным неврастеником и становится мизантропом. При хорошем отношении к людям вообще, к абстрактным людям, он безобразно придирчив к конкретному человеку, с которым приходится соприкасаться. В результате — контры со всеми… Он портится, создает сам себе невыносимые условия существования. Скверно, что у него почти нет личных связей…».