I 1860 fikk de Caroline som døde i 1861. I 1864 mistet de nok et barn med navnet Caroline, bare ti dager gammelt. I 1873 dør deres datter Fanny Emilie, ett år gammel, og i 1874 dør Anne Louise, seks år og ti mnd.