L'exèrcit israelià té les seves arrels en les organitzacions paramilitars jueves en el Nou Yixuv, a partir de la Segona Alià (1904-1914). La primera d'aquestes organitzacions era el Bar-Giora, fundada el setembre de 1907, va esdevenir Haixomer a l'abril de 1909, que va funcionar fins que el Mandat Britànic de Palestina va veure la llum el 1920. El Haixomer era una organització elitista amb abast limitat, i va ser creat principalment per protegir contra les bandes criminals que intenten robar les propietats. Durant la Primera Guerra Mundial, el precursor de la Haganà / FDI fou la Legió Jueva, que formava part de l'exèrcit britànic. Després del Pogrom de Jerusalem de 1920, el lideratge del Yixuv va prevure la necessitat de crear una organització clandestina de defensa a nivell nacional, i la Haganà va ser fundada el juny del mateix any. La Haganá va esdevenir una força de defensa a gran escala després de la revolta àrab a Palestina del 1936-1939 amb una estructura organitzada, que consistia en tres unitats principals - el Cos de Camp, cos de la Guàrdia i el Palmah. Durant la Segona Guerra Mundial, la successora de la Legió Jueva de la Primera Guerra Mundial va ser la Brigada Jueva.