Muslimit valtasivat Askelonin vuonna 640 ja se oli yksi viimeisistä kukistuneista Palestiinan kaupungeista. Myöhemmin kaupunkia hallitsivat fatimidit, joiden kaudella kaupungissa oli rahapaja ja laivastotukikohta. Seldžukit valtasivat sittemmin monet alueen rannikkokaupungit, mutta Askelon oli niitä harvoja kaupunkeja, joissa fatimidien onnistui säilyttää valtansa. Seldžukkeja seurasivat kuitenkin ristiretkeläiset, jotka miltei valtasivat kaupungin vuonna 1099. Fatimidit säästyivät vain ristiretkeläisten keskenäisen kiistelyn takia. Sittemmin Askelon toimi fatimidien etuasemana, josta he tekivät sotaretkiä ristiretkiläisiä vastaan. Kaupungin asema heikkeni merkittävästi ristiretkeläisten vallattua Tyroksen ja Balduin III valtasi lopulta Askelonin vuonna 1153 seitsemän kuukautta kestäneen piirityksen jälkeen. Ristiretkeläisten kärsittyä suuren tappion Hattinin taistelussa Askelon antautui Saladinille vuonna 1191, mutta Rikhard I Leijonamieli valtasi sen voittonsa jälkeen Arsufin taistelussa. Saladin joutui hylkäämään kaupungin, mutta ennen vetäytymistään hän määräsi sen tuhottavaksi. Kaupungin muslimit muuttivat Syyriaan, kristityt ja juutalaiset taas Jerusalemiin. Kaupungin linnoituksia jälleenrakennettiin ja se vaihtoi hallitsijaa useaan otteeseen, kunnes muslimit valtasivat sen lopullisesti vuonna 1247. Mamelukkihallitsija Baibars tuhosi kaupungin vuonna 1270 monien muiden Palestiinan rannikon kaupunkien tapaan. Askelon ei toipunut, vaan se oli vuosisatojen ajan raunioina.