Pride ble født 18. mars 1934 i Sledge i Mississippi, og han var den fjerde av totalt elleve barn av en bomullsplukker. Hans far ville døpe han Charl Frank Pride, men på grunn av en feil ved fødselsattesten ble hans juridiske navn Charley Frank Pride. Det var totalt åtte gutter og tre jenter i familien. Hans eldste bror, Mack Pride, spilte i Negro League Baseball før han begynte i direktoratet.