Cependant, sa première préoccupation à son arrivée en Palestine, est de mettre sur pied avec Jabotinsky, une milice juive d'auto-défense, la Haganah. Rutenberg est le capitaine de ces troupes à Tel Aviv pendant les émeutes de Jaffa de 1921.