Jeffries stjernestatus hadde nå nådd vanvittige proporsjoner. Han ble omtalt i dikt og folkesanger, og vandrehistoriene om han var mange. En lege foretok en helsesjekk på Jeffries rundt denne tiden og konkluderte med at Jeffries styrke og helse gjorde at han «was simply not human» – umenneskelig. En historie om Jeffries forteller at han var på jakttur med noen venner; de hadde sporet en voksen hjort i en hel dag og da de endelig fikk skutt den, bar Jeffries den på skuldrene hele de 11 km tilbake til jaktleiren uten pause. Faktisk hadde resten av jaktlaget problemer med å følge tempoet hans. Jeffries deltok ofte i styrkeløft konkurranser med gode resultater og gikk for å være verdens sterkeste mann på begynnelsen av 1900-tallet, og vandrehistoriene om han tok ingen ende da han satte ny rekord for korteste VM-kamp da han slo ut sin neste utforder på 55 sekunder, en rekord som står i dag (når det gjelder en VM-tittel, ikke forbundstitler).