Charles Fawcett ble født i Georgia, men vokste opp i Greenville i Sør-Carolina. Han hadde to søstre og en bror. Moren døde da han var fem år gammel, og faren to år etter.