La majestuosa ciudad que habían levantado comienza a quedarse sola y a deteriorarse por la falta de mantenimiento de las viviendas; y para terminar de arruinarla, en 1541 se presenta una asoladora tempestad secundada por un terrible maremoto que dará al traste con aquel emporio, donde tantos españoles se habían hecho ricos y donde habían muerto tantos esclavos perleros.