Sin embargo, los saqueos y profanaciones por parte de soldados ingleses y neerlandeses hicieron que, para el día 6 de agosto, solo 47 vecinos quedaran en el peñón; de ellos, 12 eran españoles (una mujer y once varones, entre los que se encontraba el párroco Juan Romero de Figueroa) y 35 eran genoveses.