Walker var av afrikansk-amerikansk og cherokee-indiansk avstamning, og han vokste opp i et musikalsk hjem. Bluesartisten Blind Lemon Jefferson var en venn av familien, og Walker var ofte med som hjelpemann når denne var rundt på spilling.