IDF menyusur-galur akar umbinya daripada organisasi separa tentera Yahudi di dalam Yishuv Baru, bermula dengan Aliyah Kedua. Organisasi seperti itu pada permulaannya adalah Bar-Giora, ditubuhkan pada bulan September 1907. Ia telah ditukarkan kepada Hashomer pada April 1909, yang beroperasi sehingga Mandat British Palestin mula wujud dalam tahun 1920. Hashomer telah merupakan sebuah organisasi elit dengan ruang keterangkuman sempit iaitu untuk melindungi harta daripada dicuri oleh kumpulan penjenayah. Selepas rusuhan Arab terhadap Yahudi dalam bulan April 1920, kepimpinan Yishuv telah nampak akan keperluan untuk mewujudkan satu organisasi pertahanan seluruh negara, dan Haganah telah ditubuhkan pada bulan Jun tahun yang sama. Haganah telah menjadi satu pertahanan berskala penuh selepas Pemberontakan Arab di Palestin 1936–1939 dengan satu struktur yang tersusun, mengandungi tiga unit yang utama - Kor Pertempuran, Kor Pengawal dan Palmach.