Fue su único hijo varón, pero Olivia dio a luz a tres hijas: Olivia Susan ("Susy", 1872-1896), Clara (1874-1962) y Jane ("Jean", 1880-1909).