I pensjonisttilværelsen levde Jeffries et behagelig liv sammen med familien sin på en ranch. Det var ikke før seks år senere, i 1910, at han ble lokket til å gjøre comeback som mot den forhatte Jack Johnson i det som ble kalt «Battle of the Century».