De sus ocho hijos biológicos, solo tres le sobrevivieron: Ianthe (1813-1876) y Charles (1814-1826), los que había tenido con Harriet y que se entregaron en adopción a la muerte de ésta, y Percy Florence (1819-1889), uno de los hijos que tuvo con Mary.