I september 1863 blev Unionens hær i Tennessee besejret i slaget ved Chickamauga og to korps blev sendt af sted for at hjælpe dem da de blev belejret i Chattanooga—XI og XII Korps. (De blev senere slået sammen på grund af deres ringe størrelse til et nyt XX Korps i Army of the Cumberland.) Williams's division nåede ikke helt til Chattanooga, men bevogtede jernbaner i det østlige Tennessee. Det sluttede sig dog til generalmajor William T. Sherman som en del af XX Korps i Atlanta kampagnen og kæmpede med udmærkelse i en række slag, især Slaget ved Resaca. Williams blev såret i armen i Slaget ved New Hope Church den 26. maj 1864. Hans division fulgte Sherman gennem Shermans march til havet og Carolina kampagnen. I disse kampagner førte Williams XX Korps indtil Joseph A. Mower overtog kommandoen efter Slaget ved Bentonville. Williams vendte tilbage til at lede sin division. I denne periode modtog Williams en midlertidig forfremmelse til generalmajor den 12. januar 1865.