Som ung mann utmerket Jeffries seg i en rekke idretter. Hovedidrettene hans var boksing, bryting og turn, men han imponerte også i flere friidrettsgrener, deriblant høydehopp og sprint. Som 16-åring løp Jeffries 100 yards (91,4 meter) på ti sekunder. Dette var en imponerende tid på 1890-tallet.