Deler av familien Esterhazy hadde bosatt seg i Frankrike mot slutten av 1600-tallet og tjenestegjorde stort sett i forsvaret, spesielt med organisering av husarregimenter. Charles Ferdinand ble foreldreløs i ung alder og etter noe utdanning ved skolen Lycée Condorcet i Paris, forsøkte han forgjeves å komme inn ved École spéciale militaire de Saint-Cyr. Han forsvant i 1865, men i 1869 var han i tjeneste for pave Pius IX.