1863年9月、テネシー州の北軍がチカマウガの戦いで破れたので、東部から第11および第12の2個軍団がチャタヌーガで包囲されている部隊の救援に派遣された（この2個軍団は後に、その軍団の大きさが小さかったので結合され、カンバーランド軍第20軍団となった）。ウィリアムズ師団はチャタヌーガの戦いに間に合わなかったが、テネシー州東部の鉄道を守った。しかし、アトランタ方面作戦では第20軍団の一部としてウィリアム・シャーマン少将の軍隊に加わり、多くの戦闘、特にレサカの戦いで功績を挙げた。1864年5月26日のニューホープ教会の戦いでウィリアムズは腕を負傷した。その師団はシャーマンの海への進軍からカロライナ方面作戦まで従った。これらの作戦ではウィリアムズが第20軍団を率い、ベントンビルの戦い後にジョセフ・A・モーワーが引き継いだ。ウィリアムズは師団長に戻った。この期間の1865年1月12日に、ウィリアムズは少将への名誉昇進を果たした。