Ved krigens utbrudd satte han opp et frivillig regiment og ble dets oberst. Han ble senere general og seiret i angrepet på Fort Henry og Fort Donelson i februar 1862. I april samme år beseiret han en opprørsstyrke ved Shiloh (Pittsburg Landing) og fortsatte sin offensiv i Tennessee. I juli 1863 erobret han Vicksburg. Han deltok så i slaget ved Chattanooga. 10. mars 1864 ble han utnevnt til generalløytnant og øverstkommanderende for nordstatenes hær. Han organiserte en krig hvor sørstatene ble angrepet på flere fronter samtidig. Særlig viktig var general Shermans erobring av Atlanta i 1864 og marsjen gjennom Georgia og Carolina til havet. Grant ledet selv soldatene i øst og kjempet framgangsrikt mot general Robert E. Lee som han tvang til kapitulasjon i 1865 i Appomattox.