Hjemme fra la Recherche-ekspedisjonen vinteren 1840 giftet Biard seg med d'Aunet samme sommer, 23. juli 1840 i Paris. Da var allerede d'Aunet gravid og 14. oktober 1840 får de deres første barn, datteren Marie Henriette Biard (1840-1897). Ekteskapet var ikke en ubetinget suksess. d'Aunet innleder et forhold til den franske forfatteren og poeten Victor Hugo og i 1844 søker hun om skilsmisse fra sin mann. Biard nekter og i tiden etterpå vokser hans sjalusi. Han følger etter henne for få rede på hennes utroskap og medbringende en betjent fersker Biard sin kone og hennes elsker på et hotell i 1845. Victor Hugo har som nasjonalhelt immunitet og pågripes ikke, mens d'Aunet arresteres og dømmes til fengsel for utroskap som senere sones som tvunget opphold i kloster. Dette satte ikke en stopper for forholdet til Hugo, det fortsatte til han ble landsforvist etter statskuppet gjennomført av Louis Napoléon i 1851. Først i 1855 ble ekteskapet mellom Biard og d'Aunet annullert. Ekteskapet ga dem også en sønn, Georges Biard d’Aunet. Hvorvidt Biard er faren til d'Aunets barn er usikkert. Datteren unnfanges sannsynligvis under deres hjemreise fra Recherche-ekspedisjonen, enten under oppholdet i Tyskland eller rett etter hjemkomsten til Paris. Sikkert er det at Victor Hugo betaler underhold for barnene til sin død.