Poole var gift to ganger. I 1911 giftet han seg med 17-åringen Maude Gibson. De fikk en sønn, James Clay Poole (12. desember 1912–15. juli 1968). Mannens rastløse reiselyst og drikkfeldighet gjorde at kona bad om skilsmisse etter bare et års tid.        I 1918 flyttet Poole og Posey Rorrer til Spry (senere innlemmet i Eden). De to pleiet flere av Rorrers slektninger, som var hardt rammet av spanskesyken. Poole giftet seg så 11. desember 1920 med Rorrers søster Lou Emma Rorrer, som døde 11. desember 1967.