Audubon ble født i Les Cayes som sønn av en fransk sjøkaptein og plantasjeeier og en kreolsk mor. Han het først , altså med morens etternavn. Moren døde et halvt år etter hans fødsel, og fra august 1788 vokste Jean opp hos sin stemor Anne Moynet i Nantes. I mars 1789 ble han offisielt adoptert og fikk navnet .