Liderou uma divisão em Fredericksburg na invasão de Marye's Heights e foi recompensado em 20 de março de 1863, com o posto de major-general do exército de voluntários. Comandou divisões em Chancellorsville e Salem Church e, com a morte de John Reynolds em 1 de julho de 1863, recebeu o comando do I Corpo de Exército, que liderou nos últimos dois dias da Batalha de Gettysburg. Em 3 de julho de 1863, por bom serviço prestado em Gettysburg, foi promovido a coronel do exército regular. Ele se envolveu na perseguição das forças confederadas em Warrenton, Virgínia, e no final de 1863 estava ativo na Campanha Rapidan. Em maio de 1864, foi transferido para o Exército de Cumberland e comandou a 2.ª Divisão do IV Corpo de Exército, sob o comando do major-general George Henry Thomas. Lutou em todas as ações desde a invasão da Geórgia até a captura de Atlanta. Por sua bravura nesta campanha, especialmente na Batalha de Peachtree Creek, foi promovido em 13 de março de 1865, major-general do exército de voluntários e general-brigadeiro e major-general do exército regular. Ele então assumiu o comando de vários distritos na Flórida até que, em janeiro de 1866, foi retirado do serviço voluntário.