Byens framgang endte i 1100 da Haifa ble beleiret og erobret av vestlige korsfarere etter en hard kamp mot dens jødiske og muslimske befolkning. Under korsfarerne ble Haifa redusert til en landsby som drev jordbruk og fiske. Den ble en del av fyrstedømmet Galilea innenfor kongeriket Jerusalem. Som følge av seieren ved Hattin erobret Saladins hær Haifa i midten av juli 1187. Korsfarerne under engelske Rikard Løvehjerte gjenerobret Haifa i 1191. Karmelittordenen etablerte en kirke på Karmelberget i løpet av 1100-tallet. Under muslimsk styre ble kirken gjort om til moské og senere et sykehus. Først på 1800-tallet ble den gjenopprettet som karmelittisk kloster over grotten assosiert med Elia.