Kun Steuart palasi armeijaan Robert E. Lee antoi hänelle komennettavaksi prikaatin Edward Johnsonin divisioonasta. Gettysburgin sotaretkellä kesäkuussa 1863, kun hänen prikaatinsa meni Marylandiin, hänen sanottiin hypänneen hevosensa selästä, seisseen päällään ja suudelleen kotiosavaltionsa maaperää. Gettysburgin taistelussa Steuartin miehet yrittivät epäonnistuen useita kertoja saada haltuunsa Culpin kukkulan pohjoisvaltioiden joukoilta. Seuraavana vuonna hän osallistui Wildernessin taisteluun. Sitten hän joutui miltei koko prikaatinsa kanssa sotavangeiksi "muulinkenkä"-ulkonemassa Spotsylvanian taistelussa. Riidanhaluinen Steuart kieltäytyi puristamasta kättä sotaa edeltävän ystävänsä Winfield Scott Hancockin kanssa. Hänet lähetettiin sotavankina Charlestoniin Etelä-Carolinaan ja vangittiin myöhemmin Hilton Headiin. Steuart vapautui vankienvaihdossa myöhemmin kesällä 1864, ja hän palasi Pohjois-Virginian armeijaan. Hän komensi George Pickettin divisioonan prikaatia Petersburgin piirityksen aikana ja osallistui Five Forksin ja Sayler's Creekin taisteluihin ennen kuin antautui Appomattoxin käräjätalolla muun Pohjois-Virginian armeijan kanssa.