Williams ble født 17. september 1923 i Mount Olive, Butler County, Alabama. Hans foreldre het Elonzo Williams og Jessie Lillybelle. Hans udiagnostiserte fødselsykdom spina bifida occulta gav ham smerter hele livet. Denne sykdommen ble en faktor i hans alkohol- og narkotikamisbruk. Han døde 1. januar 1953 i Oak Hill, Vest-Virginia.