Era hijo de Jacobo Fitz-James Stuart y Ventimiglia, duque de Alba de Tormes y de María Francisca Palafox Portocarrero y KirkPatrick, duquesa de Peñaranda de Duero.