La Casa de Alba correspondió a la familia de los Álvarez de Toledo durante trescientos años hasta que a la muerte sin descendencia de María del Pilar Teresa Cayetana de Silva y Álvarez de Toledo, la XIII duquesa, pasó al linaje de los Fitz-James Stuart, en la persona de Carlos Miguel Fitz-James Stuart y Silva, sobrino-bisnieto de Fernando de Silva y Álvarez de Toledo, XII duque Alba de Tormes y abuelo de la XIII duquesa.