Hall ble født i Goshen i Connecticut. Han giftet seg med Angeline Stickney i 1856. Samme år ble han ansatt ved Harvard College Observatory i Cambridge i Massachusetts og viste seg snart å bli en ekspert på å beregne baner til himmellegemer.