Er wurde offiziell geboren als Sohn von "Alexandre Sébastien de Flahaut de la Billarderie, Graf de Flahaut", guillotiniert in Arras im Februar 1793, und dessen Frau Adelaide Filleul, später Mme. de Souza. Tatsächlich soll aber Talleyrand sein Vater gewesen sein, wofür nicht nur die zeitlich passende Beziehung zu seiner Mutter spricht, in deren Salon der Abt Périgord verkehrte, sondern auch seine enge Zusammenarbeit mit Talleyrand bis zu dessen Tod 1838. Nach der Hinrichtung ihres Ehemanns nahm die Witwe Charles Joseph 1793 mit ins Exil, wo sie bis 1798 blieben. Nach der Rückkehr nach Frankreich trat er im Jahr 1800 als Freiwilliger der Armee bei und erhielt nach der Schlacht von Marengo, also noch im gleichen Jahr, sein Offizierspatent. Er wurde Adjutant von Joachim Murat und 1805 in der "Schlacht von Landbach" verwundet. Nach der Schlacht von Friedland erhielt er das Kreuz der Ehrenlegion, im Jahr 1807 kehrte er nach Paris zurück. Er dient im Krieg in Spanien im Jahr 1808, anschließend in Deutschland. Nach der Schlacht von Wagram wurde er Colonel befördert und zum Baron ernannt.