El título dejó de corresponder a la antigua familia de los Álvarez de Toledo y pasó, merced a matrimonios y defunciones, a una rama de la Casa de Fitz-James Stuart, duques de Berwick, pues a la muerte de la XIII duquesa de Alba sin descendencia, sucedió en Carlos Miguel Fitz-James Stuart y Silva, sobrino-bisnieto de Fernando de Silva y Álvarez de Toledo, XII duque Alba de Tormes y abuelo de la XIII duquesa.