Fue uno de los cuatro hijos del también astrónomo Asaph Hall, quien en 1856 contrajo matrimonio con Angeline Stickney (1830-1892).