De Morgan tenía tres hijos y cuatro hijas, incluyendo a la autora de cuentos de hadas Mary De Morgan.