El duque Carlos era el hijo de Jacobo Francisco Fitz-James Stuart y Colón de Portugal, III duque de Liria y Jérica y III duque de Berwick, y de su esposa María Teresa de Silva y Álvarez de Toledo, hermana de Fernando de Silva y Álvarez de Toledo, XII duque de Alba de Tormes.