Pero la llegada de las tropas francesas a España y la Guerra de la Independencia dejaron su huella en él; se destinó a fines militares (cuartel de caballería) y cayó prácticamente en un estado de ruina; las planchas de plomo de los tejados fueron fundidas para la fabricación de balas.