Poole giftet seg i 1917 med Clara Evans (1899–1972). Mellom 1910 og 1940 dro hundretusener svarte fra sørstatene til statene nord i USA (den såkalte ). Blant dem var i 1923 også Poole og hans hustru. De dro begge fra Georgia, hvor det den gang fortsatt var rasistiske lover, de såkalte Jim Crow Laws, som diskriminerte den afroamerikanske befolkningen. Poole selv ble på sin 20-årsdag vitne til at tre svarte ble lynsjet.