Han giftet seg senere med Françoise («Fanny») Reybaz og fikk sønnen Paul med henne. Fanny døde sommeren 1822, og senere på året døde også sønnen. Baggesen selv var på vei fra Tyskland til Danmark da han døde, og ble begravet sammen med sin første ektefelle Sophie i Kiel.