A principios del siglo XVI, la rebelión de las Germanías y los frecuentes ataques de los piratas turcos y magrebíes provocaron una reducción de las actividades comerciales y grandes inversiones en su fortificación.