Lee vokste opp i fattigdom i Sørstatene. Foreldrene livnærte seg som løsarbeidere i landbruket og var baptister. Familien hadde en liten radio som tidlig fanget hennes nysgjerrighet. Hennes musikalitet ble oppdaget da hun to år gammel begynte å gjenta sanger hun hadde hørt.