Ambos tuvieron 5 hijos: Lillian Exsie Morgan (Springfield, 1894-1989), Rufus George Morgan (Auburn, 1895-1925), Robert William Morgan (New Haven, Connecticut, 1897-1968), James Phillip Morgan (Lockport, 1899-1972) y Richard Caldwell Morgan (1911-1982).