Jonkin aikaa myöhemmin kaupunkia alkoivat uhata portugalilaiset. Portugalilaisten vaikutusvalta oli lisääntynyty Marokon rannikolla ja vuonna 1503 Don Juan de Menecez teki epäonnistuneen valtausyrityksen kaupunkia vastaan. Portugalilaisten hallitessa rannikkoa muslimit käyttivät Ksar-el-Kebiriä tukikohtana heitä vastaan tehtyhin hyökkäyksiin. 4. elokuuta 1578 jonkin matkan päässä kaupungista käytiin portugalilaisten tappioon päättynyt Ksar el-Kebirin taistelu, jossa saivat surmansa Potugalin kuningas Sebastian I ja Marokon hallitsija Abd al-Malik.