Både 1850 og 1853 er oppgitt som fødselsår for faren, John Philip Poole. Han arbeidet i et bomullsspinneri både i 1900 og 1910, viser folketellingene. Han fikk seg en kone med tilnavnet Betty, men hun døde kort etter, og John Philip Pooles annen kone hadde samme tilnavn. Betsy Ann (1850-1896) og Bettie Ellen (1850-1911) er nevnt som kandidater til tittelen Charlie Pooles mor. I 1900 hadde John Philip hatt ni barn. Åtte var i live. De fire eldste arbeidet, som faren, i et bomullsspinneri. Barnearbeid var vanlig på den tiden – ungene begynte å arbeide i 11–12-årsalderen eller før. Sammen med tre småsøsken var Charlie oppført med «no occupation».