El magnífico palacio sufrió un gran incendio el 22 de octubre de 1682. Asuntos de Estado distrajeron al rey Carlos II de Habsburgo y los planes de reconstrucción. En esos momentos el rey y España se encontraban en una difícil situación política, sin sucesión en el trono y en medio de las ambiciones de los vecinos europeos. El siguiente rey, Felipe V, de la nueva dinastía Borbón llega a Madrid en 1701, pero no sería sino después de una guerra de sucesión que finalmente en 1713 con el tratado de Utrecht, consolidará su poder. Inicialmente, el nuevo monarca se muestra interesado en la reconstrucción del edificio flamenco, pero finalmente decide construir en La Granja de San Ildefonso un nuevo palacio a la usanza francesa de sus ancestros, quedando todo en el abandono.