Después de haber alojado príncipes, cortes y reyes, el edificio, poco a poco abandonado, cambió de uso, convirtiéndose en cuartel y prisión.