Jeffries var langt større enn sine jevnaldrende og allerede tidlig i tenårene kunne han måle krefter med voksne menn, i en tid da folk gjerne hadde fysisk krevende jobber.