En 1802, se casó con Alexandrine Daumy y tuvieron un hijo, nacido el 29 de mayo de 1806, llamado Alexandre Joseph Napoléon. Su primo, Alphonse Henri, conde d'Hautpoul, también sirvió en las Guerras Napoleónicas, como teniente en la península ibérica, y fue hecho prisionero en la Batalla de Salamanca. Más tarde se convirtió en el 28º primer ministro de Francia, de 1849 a 1851.