Představitelé jišuvu založili Haganu, aby chránila židovské zemědělské osady, protože se po arabských nepokojích v letech 1920 a 1921 domnívalo, že Britové, kteří získali od Společnosti národů mandát v Palestině, nemají ambici vojensky konfrontovat Araby, kteří v té době útočili na palestinské Židy. V roce 1921 se konal první kurz pro velitele Hagany pořádaný v Tel Avivu a v Kfar Gil'adi. V období mezi lety 1920-1929 Hagana postrádala silné centrální vedení. „Jednotky“ Hagany byly velmi početně omezené a slabě vyzbrojené. Skládaly se převážně z židovských farmářů, kteří začali bránit své farmy a kibucy. Role Hagany se dramaticky změnila po arabských nepokojích v roce 1929, zejména po masakru ve městě Hebron, jenž byl jejich součástí a který vedl k etnickým čistkám a k vystěhování všech Židů z Hebronu. Stala se pak rozsáhlou organizací zahrnující téměř veškerou mládež a dospělé z židovských osad, stejně jako tisíce obyvatel měst. Také získala cizí zbraně a začala rozvíjet dílny na výrobu ručních granátů a jednoduchého vojenského vybavení. Z netrénovaných milicí se tak stala zárodečná armáda.