Elijah Robert Poole hadde baptistisk bakgrunn. Han var den syvende i en barneflokk på 13 og vokste opp i Georgia. Hans far William Poole sr. (1868–1942) var baptistisk predikant og landarbeider. Hans mor var Mariah Hall (1873–1958), husmor og landarbeiderske. Begge foreldrene arbeidet som såkalte , svært underbetalte landarbeidere som nedbetalte forpaktningsgjelden med sitt arbeide. Elijah begynte selv å arbeide på markene i svært ung alder.