Проживая в России в конце 1890-х годов, Гальперин вёл в молодёжных еврейских кругах пропаганду идей рабочего сионизма. Вернувшись в Палестину в 1898 году, он регулярно выезжал за её пределы, в том числе чтобы принимать участие во Всемирных сионистских конгрессах. На VI Сионистском конгрессе он оказался в числе делегатов, резко выступивших против Угандской программы — плана создания еврейской колонии в Африке. После Кишинёвского погрома в 1903 году Гальперин занялся созданием отрядов еврейской самообороны, собирая для них деньги и приобретая оружие; ему даже довелось возглавлять несколько боевых групп в Вильне и других городах.