Luego de otra defensa, Patterson perdió su título en setiembre de 1962 al ser noqueado por Sonny Liston.