הקריירה של מק'פרסון החלה לזרוח לאחר תפקיד זה, הוא שירת בדרגת לוטננט קולונל ומהנדס ראשי בצבאו של יוליסס גרנט במהלך כיבושם של פורט הנרי ופורט דונלסון. לאחר קרב שילה, הוא קודם לדרגת בריגדיר גנרל וב-8 באוקטובר 1862, לדרגת מייג'ור גנרל. זמן קצר לאחר מכן קיבל את הפיקוד על הגיס ה-17 בארמיית טנסי של גרנט. ב-12 במרץ 1864, קיבל מק'פרסון את הפיקוד על ארמיית טנסי, לאחר שמפקדו הקודם ויליאם שרמן, קודם לפיקוד על כל ארמיות המערב (זאת לאחר שגרנט נשלח מזרחה). הארמייה של מק'פרסון הייתה לאגף הימני בצבאו של שרמן, לצד ארמיית קמברלנד וארמיית אוהיו. ב-5 במרץ 1864 החל שרמן במערכה על אטלנטה.