Sin embargo, lo que casi provocó la desaparición de la ciudad fue una serie de ataques piratas, el más grave de los cuales, ocurrido en 1687, terminó con el saqueo y el incendio de la ciudad, que sólo dejaron en pie la iglesia y el convento de San Francisco.