Harris' foreldre drev et stykke land ved Senatobia på sharecropping-basis. Da moren giftet seg på nytt flyttet de til Coldwater, også i Mississippi. Vel hadde stefaren et jordstykke der, men familien kunne ikke klare seg på det alene og mottok sosialstønad.