Familien flyttet til Tacoma i Washington i 1911, men ble skjøvet ut i fattigdom da faren døde i 1915. Thor Tollefson sluttet på skolen og arbeidet på sagbruk for å forsørge familien.