His life, already containing many tragedies, did not improve and he embarked on a disastrous marriage. Lagrange and Delambre attended his wedding to Jenny on 1 August 1806 but, before the birth of their daughter on 6 July 1807, the couple were living apart and were not on speaking terms.
Ang kanyang buhay, na naglalaman ng maraming mga tragedies, hindi na mapabuti at siya embarked sa isang mapaminsala kasal. Lagrange at Delambre pumasok sa kanyang kasal sa Dyeni sa 1 Agosto 1806 ngunit, bago ang kapanganakan ng kanilang mga anak na babae sa 6 Hulyo 1807, ang ilang ay naninirahan hiwalay at hindi sa pagsasalita na termino.