Inicialmente, el nuevo monarca se muestra interesado en la reconstrucción del edificio flamenco, pero finalmente decide construir en La Granja de San Ildefonso un nuevo palacio a la usanza francesa de sus ancestros, quedando todo en el abandono.