Tuvo dos hermanas: María Teresa de Silva y Álvarez de Toledo, (1718-1790), quien fue la esposa, a partit del 26 de julio 1738, de Jacobo Francisco Fitz-James Stuart y Colón de Portugal, III duque de Berwick, (1718-1785), y Mariana de Silva y Álvarez de Toledo.