Med seieren over Corbett hadde Jeffries nå slått de tre ledende tungvekterne i verden to ganger hver. Det begynte å bli tynt med verdige motstandere, så Jeffries utfordret Fitzsimmons, Sharkey og Corbett til kamp på samme dag, altså én kamp mot hver av dem på én og samme dag. Alle tre takket nei. På denne tiden var det flere fargede boksere som begynte å få oppmerksomhet. De to mest kjente var Sam Langford, og den fremtidige mesteren, Jack Johnson. Langford var en bokser med enorm erfaring og var villig til å møte hvem som helst hvor som helst. I 1903 satte han inn notiser i flere av de største avisene i landet der han utfordret alle tungvektere, «unntatt James Jeffries». Jack Johnson var villig til å møte Jeffries, men tanken på at en farget bokser skulle få VM-kamp var ikke til å leve med i USA på tidlig 1900-tallet. Jeffries respekterte publikums ønske og erklærte at han ikke var villig til å forsvare tittelen sin mot fargede boksere. Han hadde møtt en høyt rangert farget bokser tidligere, Peter Jackson, men det var før han ble VM-mester. Jack Johnson gjorde det han kunne for å lokke Jeffries inn i ringen.