Desde mediados del siglo XVI hasta el fin del período colonial, la ciudad sufrió continuos ataques por parte de piratas, filibusteros, corsarios y armadas de potencias enemigas de España.