Nel 1802 sposò Alexandrine Daumy, da cui ebbe un figlio nato il 29 maggio 1806, di nome Alexandre Joseph Napoléon. Anche il cugino Alphonse Henri d'Hautpoul partecipò alle guerre napoleoniche, come tenente in penisola iberica, e fu catturato durante la Battaglia di Salamanca. In seguito divenne il 28º primo ministro francese, dal 1849 al 1851.