Nach seiner Alija im März 1904 in Erez Israel angekommen, bemerkt er, dass die dortigen jüdischen Siedlungen hauptsächlich auf arabischen Arbeitskräften beruhten und von beduinischen, tscherkessischen und maghrebinischen Wächtern bewacht wurden, beschloss er die Gründung einer Untergrundbewegung, um jüdische Arbeiter und Wächter an ihre Stelle treten zu lassen. Nachdem er 1907 am achten Zionistenkongress teilgenommen hatte, gründete er im selben Jahr in Jaffa eine zehnköpfige Untergrundorganisation namens "Bar Giora" (benannt nach einem der Führer der Aufstände im Jüdischen Krieg gegen die Römer).