Un incendio destruyó el castillo en 1697 y, tras quedarse el castillo despoblado, en el siglo algunos vecinos de Alameda —ya villa— reciben permisos para retirar piedras y otros materiales del edificio para sus propiedades.