Los vecinos del pueblo empezaron a usar sus piedras como elementos constructivos de sus casas e incluso se excavó el castillo en busca de supuestos tesoros moros que nunca existieron.