De följande åtta åren i Joe Hills liv är dåligt dokumenterade. Han var en ensamvarg, som varken drack eller rökte och helst inte talade om sig själv. Joe Hill arbetade sig igenom Amerika bland annat som lantbruksarbetare, byggarbetare, hamnarbetare och skogshuggare. Ett julkort Joe Hill skickade hem till familjen 1905 finns bevarat, och det är poststämplat i Cleveland, Ohio. När San Francisco drabbas av det stora jordskalvet den 18 april 1906 var Joe Hill där också. Joe Hill beskriver ödeläggelsen som jordskalvet förorsakade i en längre artikel som trycktes i den lokala tidningen i Gävle den 16 maj samma år.