Il participe ensuite aux batailles de Chancellorsville, de Gettysburg et de Chattanooga. Lors de la bataille de Chancellorsville, il tombe inconscient après qu'un boulet de canon le manque de peu. Lors de la bataille de Wauhatchie, il a le malheur de voir son fils mourir dans ses bras. Il se distingue ensuite lors de la bataille de Lookout Mountain, de la campagne d'Atlanta, de la marche de Sherman vers la mer et de la campagne des Carolines. Brièvement gouverneur militaire de Savannah, il finit la guerre avec le grade de major-général.