Su padre fue Joseph Léopold Sigisbert Hugo (1773‑1828), general de los ejércitos napoleónicos, luego nombrado conde, que participó en la invasión de España.