Komiteen har sin historie tilbake til 1933, da en olympisk komité for Palestinamandatet ble opprettet. Gjennom historien ble denne komiteen omorganisert flere ganger, før den i 1952 ble anerkjent av Den internasjonale olympiske komité, akkurat i tide til Sommer-OL 1952 der Israel fikk sin OL-debut.