Hijo de François Hippolyte Jaubert, ordenador de la marina, tullido en la batalla de Aboukir (1798), y de Rosalie Mélanie Cheminade (†1817), propietaria de Givry, comuna de Cours-les-Barres (Cher), Hippolyte fue adoptado por su tío, el conde François Jaubert (1758-1822), y regente del Banco de Francia bajo el Primer Imperio Francés.