Jim Jeffries har i nyere tid vært mest husket for som han tapte for Jack Johnson. Johnson ble med det tidenes første fargede verdensmester i tungvektsboksing. Inntrykket mange har fått av Jeffries fra denne kampen er ikke reelt for resten av hans boksekarriere. Faktum er at Jeffries var på høyde med flere av de aller største mesterne i historien. For eksempel når det gjelder å være en dominant bokser og VM-mester i tungvektsklassen. Han var en av de mest fryktede tungvektere gjennom alle tider. Han er også en av de største, men på grunn av kampen mot Johnson (se Jack Johnson vs. James J. Jeffries) har han blitt særdeles undervurdert og mange har fått et feilaktig bilde av Jeffries' ferdigheter i ringen.