McPhersons karriere begyndte nu for alvor. Han var oberstløjtnant og den øverste ingeniør i brigadegeneral Ulysses S. Grants hær ved erobringen af forterne Henry og Donelson. Efter Slaget ved Shiloh blev han forfremmet til brigadegeneral. Den 8. oktober 1862 blev han forfremmet til generalmajor og fik snart efter kommandoen over XVII Korps i Grants Army of the Tennessee. Den 12. marts 1864 fik han kommandoen over Army of the Tennessee, efter at dens tidligere kommandør generalmajor William T. Sherman var blevey forfremmet til at kommandere alle hære i det vestlige operationsområde. Hans hær var højre fløj af Shermans hær, ved siden af Army of the Cumberland og Army of the Ohio. Den 5. maj 1864 begyndte Sherman sin Atlanta kampagne.