בשנת 640 נכבשה העיר בידי הערבים, אשר ייחסו לה מעמד מיוחד החל בסוף המאה ה-11, בשל מסורת לפיה ראשו של חוסין בן עלי שמור במבנה זיכרון בשטחה. בשנת 1099, עם הגעת הצלבנים לארץ ישראל, הייתה אשקלון מבצר חשוב לפאטמים, ולמרות ניצחון הצלבנים בקרב אשקלון שנערך בסמוך לה, העיר לא נפלה בידיהם. בשנת 1150 בוצרה העיר על ידי שליטה הפאטמי בחמישים ושלושה מגדלי שמירה, אך למרות זאת נכבשה על ידי בלדווין השלישי מלך ירושלים בשנת 1153, לאחר מצור שנמשך חודש. העיר נכללה ברוזנות יפו ואשקלון הצלבנית, והייתה לחשובות שבעריה הפאודליות. בשנת 1187 גירש צלאח א-דין את הצלבנים מהעיר לאחר מצור בן שבועיים. הוא הרס והעלה אותה באש וסתם את נמלה.