Varios de los ataques piratas – incluyendo el ataque que causó la destrucción del Convento San Francisco – forzaron a los españoles, a abandonar el pueblo.