Quân đội mới tự tổ chức trong cuộc Chiến tranh Ả Rập-Israel năm 1948, khi Syria, Liban, Ai Cập, Transjordan, Iraq, Ả Rập Xê Út và Yemen tuyên chiến với Israel. Mười hai Lữ đoàn bộ binh và thiết giáp được thành lập: Golani, Carmeli, Alexandroni, Kiryati, Givati, Etzioni, các lữ đoàn thiết giáp số 7 và số 8, Oded, Harel, Yiftach và Negev. Sau cuộc chiến, một số lữ đoàn được chuyển thành các đơn vị dự bị, và các lữ đoàn khác bị giải tán. Các ban chỉ huy và quân đoàn được thành lập từ các quân đoàn và quân chủng trong Haganah, và cơ cấu căn bản bên trong IDF này vẫn còn tồn tại đến ngày nay.