Den store depresjonen rammet familien hardt, og de bodde i et hus uten innlagt vann eller elektrisitet. Faren holdt storfe og villsvin og dyrket mais, bomull og peanøtter sammen med tre svarte leilendinger. Faren var pratsom, men med et eksplosivt temperament. Han slet med alkoholmisbruk og tilbakevendende hodepine som følge av en hodeskade fra en slåsskamp. I 1930 arvet faren en større pengesum og bygde et nytt hus. I forhold til resten av USA levde familien fremdeles i fattigdom.