Joseph tuvo dos hermanos menores: William, nacido en 1866 y que falleció de escarlatina en 1870, y Marion Eliza, nacida en 1867 y muerta en 1891.