Fue en tiempos de su hijo, Carlos IV, rey entre 1788 y 1808, cuando el edificio del Paseo del Prado quedó casi concluido, pero su futuro uso distaba de quedar claro.