El edificio fue reformado nuevamente en 1846 en ocasión de una visita de Isabel II, fecha en que pasó a ser Palacio Real, hasta que fue destruido por un incendio en 1875.