Im Juni 1863 wurde er, bereits als diensttuender Divisionskommandeur, zum Generalmajor ernannt. Er diente u. a. bei Chickamauga, Chattanooga und im Atlanta-Feldzug. Während dieses Feldzuges, Mitte 1864, wurde er Befehlshaber des III. Armeekorps der Army of Tennessee. Dazu gab es eine temporäre Beförderung zum Generalleutnant, welche im nächsten Februar in eine permanente Beförderung umgewandelt wurde. Er befehligte sein Korps während des Feldzuges von Franklin und Nashville und dann 1865 im Feldzug durch die Carolinas. Dort schrumpfte die Armee auf wenige Tausend Mann zusammen, zuletzt unter dem temporären Befehl von Stewart, welche sich als Teil der Streitkräfte von General Joseph E. Johnston im April bei Bennett Place ergaben.