Sin embargo a principios del siglo xx fue utilizado como cantera para construir la nueva iglesia (inaugurada en 1909) del pueblo lo que provocó la ruina total del castillo.