Beim Ausbruch des Sezessionskriegs 1861 entschied er sich, obwohl sich sein Heimatstaat Virginia der Konföderation anschloss, der Union die Treue zu halten. Dies führte zum Bruch mit seiner Familie. Anschließend wurde er Kommandeur eines Kavallerieregiments des US-Heeres und erhielt das Kommando über die Kavallerie auf dem westlichen Kriegsschauplatz. Ungeachtet seiner unbestrittenen Kompetenz übergab man ihm jedoch nie ein eigenes Oberkommando, da man nicht sicher war, wie unerschütterlich seine Loyalität zum Norden war. Am 19. Januar 1862 siegte er im Gefecht bei Mill Springs, und vor allem in der Schlacht am Chickamauga am 19. und 20. September 1863 zeichnete er sich durch seine Standhaftigkeit und Umsicht aus, die die Unionstruppen vor einer Katastrophe bewahrten. 1864 kommandierte er die Cumberland-Armee auf dem Marsch nach Atlanta (siehe Atlanta-Feldzug) unter William T. Sherman, dann in Tennessee. Aus der Schlacht von Nashville vom 15. bis 16. Dezember 1864 ging er siegreich hervor. Nach dem Krieg erhielt er bis 1869 ein Militärkommando in Kentucky und Tennessee, dann eines in San Francisco. Dort starb er im März 1870.