En 1812 fue abandonado por completo tras un incendio provocado por el guerrillero Santos Padilla, que arrasó con todos muebles, enseres y parte de la estructura del castillo.