Fernando Álvarez de Toledo embelleció el palacio contratando los servicios del arquitecto Benvenuto y de los pintores Thomás de Florencia y Cristoforo Passini.