الجيش البرتغالي
وفي يوم 23 أكتوبر 1558م استولى الجيش البرتغالي بقيادة ألفونس الخامس على القصر الصغير وسمح للمسلمين بمغادرة المدينة بممتلكاتهم. بينما استقرت حامية عسكرية بالمدينة تحت قيادة القائم دون إدوارد ذوننسيس. وهي تعتبر بذلك المدينة المغربية الثانية التي وقعت تحت الاحتلال البرتغالي بعد سبتة سنة 1415م وبعد المحاولة الفاشلة لاحتلال طنجة سنة 1437م. ولقد ظل البرتغال بالقصر الصغير زهاء 90 سنة ولم يتم إخلاؤها إلا سنة 1550م.