Desde entonces el castillo se abandonó a su suerte, lo que provocó la ruina total de sus piedras, que no frenaría la declaración en 1983, como Bien de Interés Cultural.