Ярославский был участником Революции 1905—1907 годов. Невеста Ярославского, тоже революционерка Ольга Михайловна Генкина (1882—1905), была убита черносотенцами при попытке провоза партии оружия для революционеров. Ярославский вёл партийную работу также в Екатеринославе и Петербурге (редактор газеты «Казарма»); участвовал в 1-й конференции военных и боевых организаций РСДРП в Таммерфорсе, был членом Московского комитета РСДРП и военной организации большевиков, делегатом 4-го и 5-го съездов РСДРП.