السعديون
بعد أن استولى السعديون على القلعة، تم تجهيزها بعدة مدافع من صنع هولندي وإسباني. خلال القرن الثامن عشر، في عام 1762، بنى هناك قصر الباهية للأمير العلوي مولاي هشام.