Han var sønn av en fransk kaffeplantasjeeier i Saint-Domingue, men bodde bare to år på øya før familien sendte ham tilbake til besteforeldrene i Bordeaux i Frankrike. Han studerte i Bordeaux og ble deretter sendt til Saint-Sulpice-seminaret i Paris i 1786.