Seriamente dañado durante la guerra de Independencia, parte del complejo palaciego fue demolido en tiempos de Fernando VII, el resto (a excepción de Casón y del Salón de Reinos) fue derribado en 1868 por orden del Gobierno provisional.