Da han ble født fikk han kallenavnet «No Name Maddox». Moren, Kathleen Maddox, hadde ikke de nødvendige ressursene til å ta seg av sønnen. Som ung gutt så Charles moren dra med seg forskjellige elskere hver dag av begge kjønn. Mesteparten av barndommen til Charles gikk med til å flytte mellom forskjellige slektninger og institusjoner.