Bob Fitzsimmons og Tom Sharky var nå helt ute av bildet for hva en VM-utfordring gjaldt. James Corbett derimot, hadde gjort en så bra figur mot Jeffries at publikum forlangte et returoppgjør. Villig til å møte hvem som helst unntatt fargede boksere, sa Jeffries seg enig og et returoppgjør mellom dem ble arrangert. I august 1903 møtte de to kjenningene hverandre, men denne gangen var det tydelig at Corbett ikke hadde mer å gå på. Jeffries nærmest seigpinte den gamle mesteren i 10 runder før han senket ham med et kroppslag.