Sin embargo, el gran auge que tuvo la ciudad se vio detenido continuamente por frecuentes asaltos de piratas y corsarios patrocinados por los reinos enemigos del Imperio español, especialmente los Países bajos e Inglaterra.