Entre finales del siglo XIX y principios del siglo XX tuvo lugar —debido al peligro que suponía para los vecinos— el derribo de lo que quedaba de los muros y restos del castillo.