Partidario del duro entrenamiento se ganó el apodo de "Smoking Joe" porque sus entrenadores afirmaban que Frazier seguía entrenando en el gimnasio "hasta que saliera humo (en inglés, ""smoke"") de sus guantes".