Unter Bischof Absalom wurde ein Bistum eingerichtet und die Grafschaft Jaffa zur Grafschaft Jaffa und Askalon erweitert. 1187 sollten die Kreuzfahrer Askalon im Austausch für die Freilassung ihres Königs, Guido von Lusignan, an Sultan Saladin abtreten, der ihn in der Schlacht von Hattin gefangen genommen hatte. Aber bereits vor der Übergabe des Königs ergab sich die Stadt am 5. September 1187 nach elftägiger Belagerung durch ein Heer Saladins. Auf dem Dritten Kreuzzug wurde die Stadt 1192 durch Richard Löwenherz für das Königreich Jerusalem zurückerobert, doch neun Monate später im Rahmen der Waffenstillstandsvereinbarung mit Saladin wieder zurückgegeben. Während des Kreuzzugs der Barone 1239–1241 wurde Askalon ein letztes Mal für die Kreuzfahrer besetzt, wiederbefestigt und dem Hospitaliterorden übergeben. 1244 wurde die Stadt erfolglos von den Ayyubiden belagert. Im Sommer 1247 begann eine Belagerung durch die Mamelucken, die die Stadt am 15. Oktober 1247 eroberten und weitgehend zerstörten. Das Bistum wurde nach dem endgültigen Ende der Kreuzzüge 1291 bis zum II. Vaticanum als Titularbistum Ascalon vergeben. Die Stadt verfiel im 14. Jahrhundert.