Die Kreuzfahrer unter Balduin I., König von Jerusalem (1100), eroberten die Stadt, die Gadres genannt wurde. Balduin III. vertraute die Stadt, die damals in Ruinen lag, 1152 dem Templerorden an, der sie zu einer starken Festung ausbaute. Durch die Befestigung von Gaza schnitten die Kreuzfahrer die Festungsstadt Aschkelon vom Landweg nach Ägypten ab. Aschkelon war damals das letzte Bollwerk der ägyptischen Fatimiden-Dynastie in Palästina und wurde daraufhin 1153 erobert. 1170 belagerte Saladin erfolglos die Stadt. Nach der Schlacht bei Hattin 1187 wurde sie 1188 schließlich kampflos an Saladin übergeben, im Austausch gegen den in der Schlacht gefangen genommenen Templer-Großmeister Gérard de Ridefort. 1192 wurde Gaza kurzzeitig von den Teilnehmern des Dritten Kreuzzugs unter Richard Löwenherz besetzt, doch 1192 beim Friedensschluss zwischen Richard und Saladin diesem überlassen. Sowohl 1239 als auch 1244 unterlagen die Kreuzfahrer nahe der Stadt muslimischen Heeren.