En 1935 Mike Jacobs convence a sus apoderados para que acepten ser su mánager, adquiriendo Joe pronto fama e importancia convirtiéndose en el gran ídolo de las masas, especialmente de los hombres y mujeres de color que vieron en él una oportunidad de que un hombre de color se convirtiera por primera vez en campeón de los pesos pesados, después de que en 1915 lo fuera Jack Johnson .