Su nieta María del Pilar Teresa Cayetana de Silva y Álvarez de Toledo hizo de esta mansión un lugar de reunión de artistas e intelectuales de su época.