Etter uavgjort-avgjørelsen mot Choyinski var det klart at få boksere ville klare å måle krefter og utholdenhet mot Jeffries. VM-kamper på denne tiden var som regel stipulert til 25 runder, og målet var å få Jeffries i en tittelkamp så fort som mulig. Jeffries' neste store test skulle være den fryktede fargede australske bokseren, Peter Jackson. Jackson hadde i mange år forgjeves forsøkt å få en kamp mot den gamle mesteren John L. Sullivan. Til Jackson utallige utfordringer på slutten av 1880-tallet svarte Sullivan kort «I have never fought a nigger, and I never shall!». Dette på tross av at Jackson var ansett av alle som den beste utfordreren i verden. Det var ikke før James J. Corbett kjempet til en uavgjortavgjørelse mot Jackson etter 61 runder i 1891 at Sullivan endelig fant det han mente var en verdig utfordrer til tronen sin. Jackson ble frosset ut av VM-bildet fordi han var farget, ikke fordi han var så god som han var.