Han ble født i Fort-Royal (dagens Fort-de-France) på Martinique den 28. mai 1760 som sønn av Martiniques guvernør François V de Beauharnais (1714-1800) og hans hustru Henriette Pyvart de Chastillé (1722–1767). Han var bror til François de Beauharnais og far til Eugène de Beauharnais. Han var farfar til Josefine, dronning av Norge og Sverige og den andre Bernadotte-dronningen.