Во время золотой лихорадки он сбежал в Калифорнию. В 1857 году он принял участие в экспедиции против племени Пит-Ривер. Примерно тогда же он женился на индианке по имени Пакита из племени модоков. Миллер сменил много занятий: он был поваром в лагере старателей, судьёй, курьером в «Пони Экспресс», школьным учителем, журналистом. В 1859 году его приговорили к тюремному заключению за конокрадство. В 1862 году он женился второй раз — на Терезе Дайер.