La pareja estableció su residencia en el madrileño palacio de Buenavista, reformado a partir de 1777, donde instalaron su colección de arte, con obras como la "Venus del espejo" de Velázquez o la "Madonna de Alba" de Rafael, y crearon una brillante corte que competía en esplendor con la de la María Josefa Pimentel, duquesa de Osuna y la de reina María Luisa de Parma, siendo célebre la rivalidad entre la duquesa y la soberana.