באותו הקיץ סבל גרפילד מצהבת וירד במשקלו. הוא נאלץ לחזור אל ביתו ואשתו החזירה אותו לקו הבריאות. כשהיה בביתו, חבריו פעלו כדי לנסות לעזור לו להיבחר לקונגרס מטעם הרפובליקנים, אף על פי שגרפילד סירב לעסוק בנושא. הוא חזר לצבא בסתיו והלך לוושינגטון כדי לחכות למשימה הבאה שלו. באותה התקופה נפוצו שמועות על רומן מחוץ לנישואין שכמעט הרס את נישואיו. גרפילד הצטרף לוועדה שבחנה את התנהלותו של פיץ ג'ון פורטר. הוא השתכנע באשמתו של פורטר והצביע יחד עם הגנרלים האחרים להרשיע אותו. המשפט נמשך בין נובמבר 1862 לינואר 1863, ובסופו, מונה גרפילד לראש המטה של ויליאם ס. רוסקרנס, מפקד צבא קמברלנד.
ראש המטה של רוסקרנס.
משרת ראש המטה בדרך כלל הייתה זוטרה, אולם גרפילד השפיע מאוד על רוסקרנס, והשיג סמכויות נרחבות יותר מתיאום פקודות. הוא אף פיקד על הצבא של רוסקרנס. רוסקרנס אהב שיחות, וגרפילד המלומד היה בדיוק האדם המתאים לכך. השניים הפכו לקרובים מאוד, ודיברו בעיקר על דת. גרפילד ורוסקרנס תכננו כיצד לרדוף וללכוד את הגנרל ברקסטו בראג. בראג נסוג אל צ'אטאנוגה והיה צורך בעוד חיילים כדי להכניע אותו. גרפילד העדיף לתקוף מיד.
בקרב עצמו, בין 19 ל-20 בספטמבר 1863, גרם בלבול בנוגע לפקודותיו של רוסקרנס לרווחים בשורות ולמחשבה שהאגף הימני אבד. רוסקרנס היה בטוח שהקרב אבוד וחזר להגן על צ'אטאנוגה. גרפילד האמין שהצבא שרד והצליח למצוא אותו. הצבא הוקף בידי צבאו של בראג, וגרפילד שלח מברק למזכיר המלחמה אדווין סטנטון, שדרשה תגבורת. לינקולן שלח עוד 20,000 חיילים בתוך תשעה ימים. בינתיים קודם גרנט למפקד צבאות המערב, והחליף את רוזקרנס בגנרל אחר. גרפילד קודם לדרגת מייג'ור גנרל אולם נאלץ להתפטר אחרי שנבחר לבית הנבחרים.
קריירה בקונגרס.
בחירות 1862 ומלחמת האזרחים.
כששירת בצבא בתחילת 1862, ניסו חבריו של גרפילד לשכנע אותו לרוץ לקונגרס מטעם מחוזו, שהיה רפובליקני מובהק. הוא דאג שהוא לא יקבל מינוי טוב בצבא, ולכן ידע שריצה לקונגרס תשפר את מעמדו הפוליטי. העובדה שהקונגרס יתכנס רק בדצמבר 1863 (עד לאשרור התיקון העשרים לחוקה ב-1933, הקונגרס התכנס בדצמבר) היה מאפשר לו להמשיך לשרת בצבא. הוא סירב לנהל את מסע הבחירות, והשאיר ליועציו הפוליטיים את הזירה. הוא נבחר להיות המועמד הרפובליקני בספטמבר 1862, ובאוקטובר נבחר לקונגרס.
מעט לאחר מכן, נאלץ גרפילד להתייצב בפני מזכיר המלחמה סטנטון ולשוחח על עתידו הצבאי. גרפילד נפגש עם מזכיר האוצר סלמון צ'ייס שהתחבר איתו. שניהם הסכימו פוליטית למדיניות של האגף הרדיקלי במפלגה. כשנכנס לקונגרס בדצמבר 1863, כעס גרפילד על לינקולן שהקל על הדרום. הרדיקלים, בהובלת תדיאוס סטיבנס, רצו להחרים אדמות של מורדים, ולינקולן איים להטיל וטו על חוקים כאלו. גרפילד תמך בחקיקה כזאת, וברומזו אל המהפכה המהוללת באנגליה, רמז שלינקולן יסולק מתפקידו בגלל דחיית החוקים. גרפילד תמך בהצהרת האמנציפציה של לינקולן, אולם טען שהיה זה מקרה מוזר בהיסטוריה העולמית כש"עורך דין סוג ב' מאילינוי" היה זה שניסח את המילים ההיסטוריות.
גרפילד תמך בביטול העבדות, והאמין שמנהיגי המרד ויתרו על זכויותיהם החוקתיות. הוא תמך בהחרמת מטעים דרומיים ואף בהגליה ובהוצאה להורג של מנהיגי המרד כדי להבטיח את השמדת העבדות. גרפילד הרגיש שלקונגרס הייתה הסמכות להכריז איזו חקיקה הכרחית כדי להבטיח את הצדק לכל הנאמנים לאיחוד, ללא קשר לצבעם. גרפילד החל לתמוך בלינקולן יותר כשזה יצא נגד העבדות. בתחילת כהונתו, חלק על מפלגתו בכמה נושאים. הוא התנגד למענקים לצורך גיוס צבאי, כיוון שהיו עשירים שהשתמשו בכספם כדי להתחמק מגיוס. גרפילד, בתמיכת לינקולן, הצליח להעביר חוק חדש שהרחיב את הגיוס. לינקולן לא חשש מהשפעת הגיוס על סיכוייו להיבחר לכהונה שנייה: הוא האמין שיוכל לנצח במלחמה לפני תום כהונתו הראשונה.
בהשפעת צ'ייס, תמך גרפילד בהצמדת הדולר לתקן הזהב והתנגד לשטרות מנייר. הוא התנגד, אולם הבין את הצורך, בחוק שהשעה את התשלומים בזהב ובכסף במלחמת האזרחים. הוא תמך בחוק שהרחיב את סמכות הקונגרס בנושא שיקום הדרום, שעליו הטיל לינקולן וטו.
גרפילד התנגד להיבחרו מחדש של לינקולן, אולם אף מועמד אחר לא הצליח להתחרות מולו. גרפילד העדיף לתמוך בלינקולן על פני מועמד אחר. הוא ביקש שרוסקרנס יבחר לסגנו של לינקולן, אולם במקומו נבחר המושל הצבאי של טנסי, אנדרו ג'ונסון. לינקולן וגרפילד נבחרו מחדש. צ'ייס עזב את הקבינט ומונה לנשיא בית המשפט העליון של ארצות הברית, והחל להתרחק מגרפילד.
גרפילד עסק בעריכת דין ב-1865 כדי לשפר את מצבו הכלכלי. הוא שהה בוול סטריט ביום בו נרצח לינקולן, ונאם נאום שבו טען שאלוהים עדיין שולט בעולם, ושהממשלה עודנה חיה. לאחר מותו של לינקולן שיבח יותר את לינקולן, וטען שהיה אחד מהשליטים הנבונים במדינה.
השיקום.
גרפילד תמך בזכות הצבעה לשחורים כמו שתמך בביטול העבדות, אף על פי שהודה שסלד מהרעיון שהשחורים יהיו שווי ערך פוליטית ללבנים, והעובדה שתמך, כלינקולן, ביישוב השחורים באפריקה. הנשיא החדש ג'ונסון דרש שיקום מהיר לדרום במהלך החודשים עד לכינוס הקונגרס בדצמבר 1865. גרפילד תמך במדיניות הזאת כניסוי. ג'ונסון, שהיה חברו, רצה את תמיכתו של גרפילד, וגרפילד הניח שחילוקי הדעות בין הנשיא החדש לקונגרס אינם גדולים מדי. הקונגרס התכנס מחדש בדצמבר (לכעסו של ג'ונסון, ללא נציגים ממדינות הדרום) ביקש גרפילד תמיכה משאר חבריו, אף על פי שחשש שג'ונסון, הדמוקרט לשעבר, יאחד כוחות עם הדמוקרטים וישיג שליטה פוליטית אם יצטרף אליהם מחדש. גרפילד חזה משבר עוד לפני פברואר 1866, כשג'ונסון הטיל וטו על חוק לחידוש לשכת העבדים המשוחררים שנועדה לעזור לעבדים המשוחררים. באפריל, טען גרפילד שג'ונסון היה "מטורף או שיכור מאופיום".
העימות בין רשויות השלטון היה חשוב בבחירות לבית הנבחרים ב-1866, וג'ונסון ניסה לקדם את מועמדיו בעוד שגרפילד נאלץ להתמודד עם התנגדות מתוך המפלגה המקומית. הדרום עדיין לא יכול היה להצביע והצפון עדיין תמך ברפובליקנים, שהשיגו רוב של שני שלישים בקונגרס. גרפילד הצליח להתגבר על האתגרים במחוז שלו ונבחר מחדש בקלות.
גרפילד התנגד בתחילה להדחת ג'ונסון כשהקונגרס התכנס שוב בדצמבר 1866. אולם הוא כן תמך בחקיקה שתגביל את כוחותיו של ג'ונסון, כמו חוק הקביעות במשרד, שהגביל את ג'ונסון בפיטורי עובדים. גרפילד ייצג נאשם בבית המשפט באפריל 1868 ולכן לא יכול היה להצביע כשבית הנבחרים העמיד את ג'ונסון לדין, אולם נאם בתמיכה בתדיאוס סטיבנס ובמתנגדי ג'ונסון. כשג'ונסון זוכה בסנאט, גרפילד נדהם, והאשים את תוצאת המשפט בניהולו של נשיא בית המשפט העליון צ'ייס.
כשיוליסס סימפסון גרנט נבחר במקום ג'ונסון ב-1869, החליט גרפילד לנטוש את הרדיקלים (סטיבנס, מנהיגם, מת ב-1868). הוא תמך בתיקון ה-15 לחוקת ארצות הברית ב-1870, ותמך בצירופה של ג'ורג'יה מחדש אל האיחוד. ב-1871 התנגד לחוק הקו קלוקס קלאן, בטענה שאמנם לא אהב את "הטרוריסטים הללו", אולם דאג בנוגע לכך שהחוק הסמיך את הנשיא להשעות את פקודת הביאס קורפוס.
מכסי מגן וכסף.
במהלך הקריירה שלו, תמך גרפילד בתקן הזהב והתנגד להעלאת כמות הכסף בעזרת כסף מנייר, ולאחר מכן בעזרת הטבעה בלתי מוגבלת של מטבעות כסף. ב-1865, מונה לחבר בוועדת המיסים, והתמקד בנושאים כלכליים. הוא המשיך להתנגד לשטרות מנייר, וטען שכל מפלגה שתתמוך בהם תגרום לאסון נוראי. ב-1868 נאם במשך שעתיים בבית הנבחרים ותמך בחידוש הדרגתי של תשלום על כסף ועל זהב.
מכסי המגן הועלו לרמה גבוהה במלחמת האזרחים. לאחר מכן, תמך גרפילד במעבר לסחר חופשי, אף על פי שהרפובליקנים תמכו במכסי מגן גבוהים למען התעשייה האמריקנית. העימות עם מפלגתו גרם לכך שגרפילד הודח מוועדת המיסים ב-1867, ולמרות הרוב הרפובליקני בקונגרס עד ל-1875, הוא עצמו לא היה בוועדה באותה התקופה. הוא אמנם מונה ליושב ראש וועדת ההקצבות, אולם תמיד רצה להנהיג את וועדת המיסים. אחת מהסיבות שהוצא מהוועדה הייתה ההתנגדות של העורך הרפובליקני המשפיע, הוראס גרילי.
בספטמבר 1870, הוביל גרפילד, שהיה אז יושב ראש וועדת הבנקים, חקירה על הבהלה לזהב של 1869. הוועדה חקרה את השחיתות, אולם לא מצאה עבירות משמעותיות. גרפילד האשים את קיום השטרות במימון ספקולציה שהובילה לשערורייה.
גרפילד לא התלהב מהיבחרו מחדש של גרנט ב-1872, עד שהוראס גרילי, המועמד הדמוקרטי והרפובליקני-ליברלי, הפך לחלופה היחידה. גרפילד טען ש"גרנט לא כשיר להיות מועמד וגרילי לא כשיר להיבחר". גרנט וגרפילד נבחרו מחדש בקלות.
סקנדל קרדיט מובילייה, חוק משיכת השכר.
סקנדל קרדיט מובילייה כלל שחיתות במימון מסילת יוניון פסיפיק שהושלמה ב-1869. מנהלי יוניון פסיפיק השתלטו על תאגיד קרדיט מובילייה בחשאי ואפשרו לו להקים את מסילת הרכבת. ההוצאות המנופחות שנרשמו בידי הארגון שולמו בעזרת כסף ממשלתי, ולארגון הותר לקנות ביטחונות ביוניון פסיפיק מתחת לערך השוק. קרדיט מובילייה השיגה רווחים גדולים וחילקה משכורות גבוהות. ההוצאות הגדולות הובילו להקצבה נוספת של הקונגרס. בנוסף, חבר קונגרס אחד היה ממנהלי קרדיט מובילייה, והציע לחבריו הזדמנות לקנות מניות.