Tras pasar por diversos propietarios, entre ellos Antonio Joaquín Guerra, marqués de Guerra -de ahí que por un tiempo fuera conocida como huerta de Guerra- fue adquirida en 1781 por María del Pilar Ana de Silva-Bazán y Sarmiento, duquesa viuda de Arcos quien, al morir en 1784, se la dejó a su hija María del Pilar Teresa Cayetana de Silva Álvarez de Toledo, XIII duquesa de Alba de Tormes y hoy recordada como musa de Goya.