Nel 1920 si decise di organizzare l'Haganah, un gruppo assai più ampio numericamente, per tener testa con nuove difese alle sfide e ai bisogni della crescente comunità ebraica in Palestina. Molti componenti di HaShomer raggiunsero le file della Legione Ebraica, mentre altri entravano nella polizia a cavallo e svolsero un ruolo importante nella difesa di Tel Hai e di Gerusalemme durante i moti arabi del 1920 e 1921. Nel giugno 1920 HaShomer cessò di esistere come entità separata. I suoi membri, tuttavia, mantennero i contatti tra loro e dettero un rilevante contributo alla difesa dell'Yishuv.