У 1903 році закінчив зуболікарську школу в Ризі, працював зубним техніком. 1903 року вступив до лав РСДРП, більшовик. Вів революційну роботу в Петербурзі, Кронштадті, Сестрорєцьку, Москві та інших містах. Учасник Революції 1905—1907 років. Від 1906 — член Петербурзького комітету РСДРП, від 1907 — відповідальний організатор і член Петербурзького виконавчого комітету РСДРП. Від 1909 року працював у Московському комітеті РСДРП, керував ним. Того ж року був заарештований і засланий до Наримського краю, 1910 втік звідти. 1912 року на 6-й (Празькій) конференції РСДРП (був її делегатом від Москви), обраний членом ЦК і його Російського бюро. Тоді ж повторно заарештований і висланий до Тобольської губернії, в місто Туринськ, звідки переведений в село Дем'янске Тобольського повіту. У грудні 1912 року втік. 1913 знову був заарештований і засланий до Туруханського краю в Сибіру та звільнений тільки після Лютневої Революції. У листі із заслання до дружини Яків Свердлов, який близько зійшовся з Голощокіним на засланні, так описував його характер: "Він став форменим неврастеніком і стає мізантропом. При доброму ставленні до людей взагалі, до абстрактних людей, він потворно прискіпливий до конкретної людини, з якими доводиться стикатися. В результаті — контри з усіма … Він псується, створює сам собі нестерпні умови існування. Погано, що у нього майже немає особистих зв'язків … ".