Turners far blei drept i en ulykke da sønnen var bare fire år. Joseph vokste opp hos mora og mormora. Han sang i kirkekor og på gatehjørner, og – storvokst som han var – slapp han tidlig til på lokale nattklubber, både som bartender og sanger. Her traff han etter hvert pianisten Pete Johnson, som han samarbeidde med i flere tiår. De blei oppdaga av talentjegeren John H. Hammond, og i 1938 inviterte han dem til å delta i en konsertserie han arrangerte i New York, «From Spirituals to Swing» i Carnegie Hall. Disse konsertene var viktige når det gjaldt å nå ut til et breiere publikum med jazz og blues, og dette regnes som vendepunktet i Turners karriere.