En 1846, el palacio sufrió un incendio, que también afectó a las vecinas Caballerizas Reales situadas al otro lado de la calle Bailén.