Fueron famosos los bailes y tertúlias que organizaba Pilar de León, Marquesa de Esquilache y arrendataría de una de las plantas del palacio.