Charles begynte å bokse som tenåring og fikk raskt et rykte på seg som en hardtslående, solid allrounder. Kallenavnet «Cincinnati Cobra» fikk han på grunn av sin raske venstrejab. Charles avsluttet sin amatørkarriere uten tap og med 42 seire i 1939. Da kunne han vise til medaljer fra flere turneringer, deriblant , på den tiden USAs mest gjeve amatørturnering.