Er erhielt die Führung einer Division des XIV. Corps unter General Thomas und kämpfte in der Schlachten am Stones River, Chickamauga und am Missionary Ridge. Bei Shermans Atlanta-Kampagne zeichnete sich unter dem Befehl von General John M. Palmer am 27. Juni 1864 in der Schlacht am Kennesaw Mountain (Marietta) derart aus. Das er am 8. August 1864 seine Beförderung zum Generalmajor der Freiwilligen erhielt und dann während der Atlanta-Kampagne zum Kommandeur des XIV. Korps ernannt wurde. Während des Marsches zum Meer haben Davis Aktionen beim Übergang des Ebenezer Creek und seine Rücksichtslosigkeit gegenüber ehemaligen Sklaven dazu geführt, dass seine Andenken durch Kontroversen getrübt wurde. Als Shermans Armee am 9. Dezember 1864 in Richtung Savannah (Georgia) vorrückte, befahl Davis, eine Pontonbrücke zu entfernen, bevor die afroamerikanischen Flüchtlinge, die seinem Korps folgten, den Bach überqueren konnten. Mehrere hundert wurden von der konföderierten Kavallerie gefangen genommen oder ertranken im Bach. Am 20. März 1865 erhielt er noch eine Beförderung zum Brigadegeneral der regulären Armee.