De zware aardbeving van 1755 bracht het kasteel grote schade toe en zorgde voor verder verval. In 1788 werd, als direct gevolg van de aardbeving, een observatorium ingericht boven op een van de kasteeltorens. Die staat nog steeds bekend als de "Torre do Observatório".