La construcción no se inició hasta 1788, pero en los festejos de la coronación de Carlos IV en septiembre del año siguiente, le fue mostrada a éste una representación de como quedaría el edificio una vez concluidas las obras, y ante la magnificencia de lo que contempló temió que pudiera llegar a hacer sombra a su propio palacio, situado además a una distancia no muy grande.