Durante los primeros años del siglo XIX, la invasión de las tropas napoleónicas trajo como consecuencia para el edificio el saqueo e incendio del mismo hasta el punto de quedar casi destruido.