En la edad moderna, ya sin la protección del castillo, la ciudad entró en un período de decadencia, siendo destruida hasta 3 veces por piratas turcos y berberiscos que saqueaban las costas a lo largo del siglo XVI.