Charlie Pooles familieforhold er bare delvis klarlagt. Familien var fattig, og dødeligheten var høy. På den tiden fikk barna i det landlige North Carolina lite eller ingen skolegang.