Además, al ser una fortaleza, el edificio fue un objetivo de primer orden en el desarrollo de los conflictos armados, lo cual causó estragos en los fondos de la institución en conflictos como la Guerra de la Independencia Española, entre 1808 y 1814.