Pero diversas calamidades naturales como el posible terremoto de 1541 (seguido de un huracán en 1543), la destrucción de los ostrales, el descubrimiento de ostrales en La Guajira y la paulatina muerte de los indígenas explotados (debido a las inhumanas condiciones de la extracción en las perlerías), contribuyeron a que la ciudad y la isla fuesen abandonadas en su totalidad por los españoles, si bien existen registros que indican que la isla estuvo poblada por algún tiempo más.