Il est à signaler que l'Agence juive s'est rapidement dotée d'un bras armé : la Haganah. Celle-ci est formée initialement à Jérusalem en 1920, après des émeutes anti-juives. Elle est généralisée par l'Agence juive au début des années 1920 en tant que milice chargée de défendre le Yichouv contre d'éventuelles attaques arabes. La Haganah n'est pas reconnue par la puissance mandataire, et les relations entre celle-ci et la milice juive oscilleront au gré des époques, allant de l'indifférence à la répression, en passant par l'alliance (pendant la « Grande révolte arabe »).