El inmueble pasó a ser propiedad de la Casa de Alba tras el matrimonio de la IV marquesa de Villanueva del Río, Antonia Enríquez de Ribera Portocarrero, quien fue la primera esposa del IV duque de Alba de Tormes, Fernando Álvarez de Toledo y Mendoza.