FitzJames ble født i Moulins i Frankrike før faren tok over Tronen, og han vokste opp som en katolikk. Han ble utdannet ved Collège du Juilly, Collège du Plessis og Jesuittcolleget i Leene Flèche. Han gikk deretter inn i tjeneste for hertug Karl V av Lorraine og var til stede under beleiringen av Buda FitzJames ble gjort til , og av faren i 1687. Han reiste så til Ungarn og deltok i slaget ved Mohács.