Patton ble født i Hinds County i Mississippi nær tettstedet Edvards, og bodde mesteparten av livet i Sunflower County i Mississippideltaet. Rundt 1900 flyttet han med familien sin nordover til den legendariske Dockery Plantation. Det var senere der både John Lee Hooker og Howlin' Wolf lærte Pattons musikk å kjenne, og det var og der Robert Johnson begynte å spille gitar. På Dockery fikk den unge Patton opplæring av Henry Sloan, en tidlig deltabluesmusiker. Patton hang på Sloan til han var nitten år gammel og var blitt en dyktig musiker.