Los españoles construyeron un fuerte diseñado por Cristóbal de Rojas llamado San Felipe y junto a él creció una población amurallada o "qasbah" adosada.