En 1303 y 1323 la isla sufrió dos fuertes terremotos, de modo que la torre se derrumbó y muchos de sus restos fueron a parar al fondo del mar.