Tony Joe White var den yngste av syv barn som vokste opp på en bomullsfarm nær Oak Grove, West Carroll Parish, Louisiana, USA. Først begynte han å spille musikk på skoledanser, og etter endt utdanning på videregående opptrådte han på nattklubber i Texas og Louisiana.