Nacido en Georgia, Williams trabajó de aparcero y de pizcador de algodón en su juventud.