તેમ છતાં, તેમનું જીવન હવે કરૂણાંતિકાથી ભરેલું હતું કારણ કે તેના ઘણા બાળકોનું અવસાન થયું હતું: 1820 માં એલિસા, 1821 માં નેપોલિયન અને 1840 માં પોલિન.