En 1802 falleció sin hijos María del Pilar Teresa Cayetana de Silva y Álvarez de Toledo, duquesa de Alba de Tormes y musa de Goya, y fue entonces cuando las casas nobiliarias de Alba y Berwick (Liria) se unieron bajo un mismo titular: su familiar Carlos Miguel Fitz-James Stuart y Silva, quien pasó a ser XIV duque de Alba de Tormes y VII duque de Berwick y quien estaba emparentado con la fallecida duquesa de Alba por ser el sobrino-bisnieto de Fernando de Silva y Álvarez de Toledo, XII duque Alba de Tormes y abuelo de la XIII duquesa de Alba de Tormes.