Después de perder ante Ali, peleó ante el ex-campeón de los pesos pesados Floyd Patterson, ante el que perdió en cuatro asaltos.