El palacio se convirtió en una pequeña corte a la que acudían artistas notables tanto en el plano de la música, con el músico de cámara italiano Luigi Boccherini, como en el de la pintura, con la presencia de Francisco de Goya durante dos veranos con motivo de pintar a la familia del infante Luis.