De neste åtte årene i Joe Hills liv er kun sparsomt dokumentert. Han var en einstøing, som hverken røykte eller drakk alkohol, og han snakket helst ikke om seg selv. Hill arbeidet seg gjennom Amerika, blant annet som landbruksarbeider, byggearbeider, havnearbeider og skogsarbeider. Fra 1905 finnes et julekort han sendte til familien i Sverige. Dette julekortet er poststemplet i Cleveland i Ohio. Hill var i San Francisco i California da byen den 18. april 1906 ble rammet av det store jordskjelvet. Hill beskrev den totale ødeleggelsen jordskjelvet forårsaket i en lengre artikkel han sendte til lokalavisen i Gävle. Artikkelen ble trykt den 16. mai.