Williams lærte seg allerede i svært ung alder å spille flere forskjellige musikkinstrumenter, som f.eks. gitar, mandolin, banjo og cello. Etter å ha hørt den kjente jazz-musikeren Joe Venuti spille, ble han inspirert til å lære å spille fiolin også. I 1928 flyttet han til Kansas City og turnerte med Andy Kirks band Tolv Clouds of Joy, som også inkluderte musikeren Mary Lou Williams. Count Basie oppdaget ham i Kansas City og senere inviterte ham til å spille gitar i bandet sitt. Fra slutten av 1960-tallet, spilte han ofte sammen med andre musikere fra Kansas City, blant annet Jay McShann. Fra 1980-tallet, utførte Williams utelukkende musikkarbeider på fiolin, og ingen andre instrumenter.