På den tiden bodde familien Poole nær småbyen Franklinville i Randolph County, Nord-Carolina. Folketellingen i 1900 oppgir Charlie Pooles fødselsår til 1891, mens andre kilder oppgir 1892. I 1910 hadde John Philip Poole vært far til 13 barn, men bare åtte var i live, og bare moren og Charlies eldre bror Ralph kunne lese og skrive. Ved inngangen til voksen alder hadde Charlie Poole altså mistet fem av sine søsken eller halvsøsken, men faren var i live.