De verdediging van de stad verloor aan strategisch belang na de Portugese Restauratieoorlog, in de tweede helft van de XVII eeuw. De heerschappij over het kasteel keerde terug naar het bezit van de Kroon in 1759. Vanaf dat moment werd het oude kasteel geleidelijk verlaten en ging een gemarkeerd proces van ondergang in. In de 19e eeuw werd het gedeelte binnen de muren in gebruik genomen als begraafplaats van de stad.