Dopo la battaglia di Gettysburg accompagnò il I Corpo nel nord della Georgia nell'autunno del 1863, per rafforzare l'armata del generale Braxton Bragg in vista per la Battaglia di Chickamauga. Arrivò troppo tardi per partecipare alla battaglia, ma servì come comandante dell'artiglieria nella successiva campagna di Knoxville e poi presso il Dipartimento del Tennessee orientale nei primi mesi del 1864. Tornò in Virginia con il I Corpo rimanendovi per il resto della guerra, venendo promosso generale di brigata il 19 marzo 1864. Prestò servizio in tutte le battaglie della Overland Campaign, e quando il tenente generale Ulysses S. Grant aggirò l'armata di Lee per attraversare il fiume James assalendo Petersburg, egli fu in grado di muovere rapidamente le sue armi attraverso le linee confederate, mettendole in posizione per respingere l'attacco principale.