Han ble født i Issaquena County i Mississippi. Kallenavnet fikk han allerede i barndommen fordi han stadig lekte i søla (). I ungdommen lærte han seg først å spille munnspill, siden gitar, og fra 17-årsalderen underholdt han på fester med sanger av Son House og Robert Johnson, to svært populære musikere på den tiden. I 1941 spilte han med showet til Silas Green. De neste årene drev han en «juke joint», der han omsatte hjemmebrent og opptrådte.