Året som fulgte slo Charles både Moore, Bivins og Marshall igjen, i tillegg til Fitzie Fitzpatrick (2 ganger). Kun Elmer Ray klarte å beseire Charles, som sverget revansje. 1948 fikk en lovende start da Charles slo Archie Moore på knockout i åttende runde, men hans neste kamp endte i tragedie. Sam Baroudi var en urangert motstander som Charles valgte å møte i en såkalt «tune up»-match før han skulle ta revansje mot Elmer Ray. Baroudi hadde en resultatliste på 37-9-2, og hans største seier var over Holman Williams som selv var en solid mellomvekter på den tiden. Imidlertid trengte man mer enn én betydelig seier for å bli rangert. Kampen mot Charles gikk som de fleste ventet, Baroudi var rett og slett ikke på samme nivå. Ingen visste hvor ille hodeskaden Baroudi pådro seg var etter at Charles slo ham ut i 10. runde. Baroudi kom aldri til bevissthet igjen, og døde av hjerneblødning på sykehuset noen dager senere.