Faren, William Smith, var prest ved den lokale kirken, men døde mens Smith fortsatt var så ung at hun knapt husket ham. Da Smith var ni år, døde hennes mor også. I forsøk på å tjene litt penger begynte hun og broren hennes å opptre med bluessang- og musikk.