Han mistet sin mor i en alder av tre år og vokste opp i Villersexel i Franche-Comté hos sin tante Philippine de Grammont.