Williams teve pouca instrução básica e, quase analfabeto, se alistou no 41º Batalhão dos Homens de Cor do Exército da União durante a Guerra Civil, havendo participado das batalhas de Richmond e de Petersburg, sendo finalmente ferido próximo do fim das lutas.