Die Burg verfiel in den folgenden Epochen. Nach verschiedenen Wiederaufbauten und folgenden Plünderungen und Zerstörungen durch Korsaren und englische Piraten wurde die Burg durch das Erdbeben von Lissabon 1755 endgültig zerstört. Der Ort hatte, insbesondere seit dem 18. Jahrhundert, als regionaler Wallfahrtsort noch Bedeutung.