Los padres de Hoover murieron cuando él tenía apenas nueve años, así que tuvo que irse a vivir con su abuela, y posteriormente con su tío Allen Hoover, y finalmente con su otro tío, John Minthorn, un cuáquero.