В сентябре 1863 года федеральная армия была разбита при Чикамоге и осаждена в Чаттануге, поэтому им на помощь были переброшены с востока два корпуса: XI и XII. Позже их объединили в один ХХ корпус. Дивизия Уильямса не дошла до Чаттануги, поскольку ей поручили охранять железную дорогу в Теннесси. Затем она соединилась с армией Шермана и влилась в ХХ корпус, и приняла участие в сражениях Битвы за Атланту — особенно заметна была её роль в сражении при Ресаке. 26 мая 1864 года Уильямс был ранен в руку в сражении при Нью-Хоуп-Чеч, но остался в строю и командовал дивизией во время Марша к морю и в Каролинскую кампанию. 12 января 1865 года он получил временное звание генерал-майора. Постоянного звания он так и не получил, отчасти потому, что не был выпускником Вест-Пойнта.