En 1656 el edificio fue adquirido por Antonio de Valdés y Ossorio, caballero de Alcántara; más tarde, en 1669, el edificio pasó a manos de Juan Enríquez de Borja y Almansa, marqués de Alcañices.