Il XVI e il XVII secolo furono secoli difficili per la piccola borgata: si susseguirono quattro epidemie di peste (1576, 1622, 1626 e 1631), tre carestie (1581, 1590 e 1672), tre invasioni di cavallette (1616, 1637 e 1666) e due alluvioni (1619 e 1622), che decimarono la popolazione. Tuttavia, l'evento più devastante è stato il terremoto del 1693, che fece crollare interamente la torre (che già dava segni di cedimento). L'artiglieria che venne recuperata dalle macerie fu spostata sulla scogliera tra "Pietre Nere" e Santa Maria del Focallo, permettendo ai pirati di poter saccheggiare la borgata. Dopo mesi di proteste da parte degli abitanti, stanchi dei continui saccheggiamenti, la Torre fu ricostruita con l'aggiunta di una grande piattaforma merlata affacciata sul mare e una serie di contrafforti, per dare maggiore stabilità.