Innen de første fem månedene i 1951 hadde Charles rukket å forsvare tittelen 3 ganger; Lee Ouma ble slått ut i 10. runde, Jersey Joe Walcott fikk returkamp og tapte på poeng etter 15 runder og den gamle kjenningen Joey Maxim, som i mellomtiden hadde blitt VM-mester i Lett tungvekt ved å slå Freddie Mills, prøvde nå lykken mot Charles i tungvekt, også denne gangen uten hell.