Sin embargo, fue su nieta María del Pilar Teresa Cayetana de Silva y Álvarez de Toledo quien disfrutó del palacio más tiempo; tanto, que llegó a convertirlo en un importante lugar de reunión para los más ilustres personajes relacionados con el arte y la intelectualidad de la época.