La segunda familia fue la casa de Silva, fue la que se prolongó únicamente por algo menos de medio siglo durante el cual la heredaron dos duques, que comenzó con Fernando de Silva y Álvarez de Toledo -el hijo de la duquesa- y se extendió hasta 1802, año del fallecimiento sin descendencia directa de María Teresa de Silva Álvarez de Toledo, la jefa del linaje y la segunda mujer que ostentó el título ducal.