Han tapte på nytt sin verdensmestertittel den 25. september 1962 til Sonny Liston på knockout i første runde, og i returkampen mot Sonny Liston ti måneder senere 22. juli 1963 var han sjanseløs og ble på nytt slått ut i første runde, men denne gangen varte kampen 6 sekunder lenger.