En dicho palacio fueron frecuentes las tertulias y fiestas organizadas por la duquesa de Fernán Núñez, una de las damas más populares de la aristocracia madrileña del siglo XIX.