Portugalilaiset palasivat kaupunkiin uudestaan joksikin aikaa vuonna 1577. Tällä kertaa heitä johti kuningas Sebastian I. Seuraavana vuonna hän johti hyökkäystä syvemmäälle Marokkoon. 4. elokuuta käytiin Ksar el-Kebirin taistelu, jossa hän sai surmansa. Asilah annettiin jälleen takaisin marokkolaisille vuonna 1589. Vuonna 1911 kaupungin valtasivat espanjaaliset, jotka liittivät sen Espanjan Marokkoon. Espanjalaiset kutsuivat kaupunkia nimellä "Arcila". Kaupungista tuli uudestaan osa itsenäistä Marokkoa vuonna 1956.