Williams lærte seg å spille gitar av bluessangeren Rufus Payne. Han opptrådte allerede som tenåring og startet et band som kalte seg for «Drifting Cowboys». Han forlot skolen uten å fullføre. I 1941 begynte Williams å jobbe for et lokalt radioselskap som het WSFA.