Debido a su calidad como puerto principal de las colonias, era blanco permanente de ataques de piratas y corsarios, como muestra de ellos se sabe que en 1579, el corsario inglés Francis Drake atacó violentamente el puerto, y en 1624 hace lo propio el corsario holandés Jacobo Clerck apodado "L’Hermite".