En el Palacio se conservan lo que podrían denominarse «restos» de la gran colección real, puesto que la mayor parte de sus fondos pasaron a formar parte del Museo del Prado en el siglo XIX.