Los continuos ataques piratas que azotaron a la villa durante más de cien años, así como el abandono de la región de parte de las autoridades de la colonia, fueron la causa principal de que a partir de 1557 los habitantes poco a poco fueran abandonando la villa para establecerse en zonas tierra a dentro que escaparan del ataque de los piratas.