Charles kom raskt inn i utfordrerposisjon igjen ved å slå topp 10. rangerte Rex Layne via KO i 11. runde, samt utbokse gjengangeren og regjerende mester i Lett tungvekt, Joey Maxim, for femte gang. I juni 1952 møtte han igjen Walcott om VM-tittelen i tungvekt, med denne også gangen hadde Walcott er formel som slo ut Charles. Han tapte på poeng etter en kamp over 15 runder.