גרפילד גדל אצל אמו האלמנה בתנאים צנועים בחווה באוהיו. הוא עבד בכמה עבודות, כולל השטת ארבה בנעוריו. בגיל שבע עשרה החל ללמוד בכמה בתי ספר באוהיו, ולאחר מכן בויליאמס קולג', בו סיים את לימודיו ב-1856. כעבור שנה, נכנס לפוליטיקה במסגרת המפלגה הרפובליקנית. הוא נישא ללוקרישיה רודולף ב-1858, ושירת בסנאט של אוהיו בין 1859 ל-1861. גרפילד התנגד לפרישת הדרום מארצות הברית, שירת כמייג'ור גנרל בצבא האיחוד במהלך מלחמת האזרחים האמריקנית, ולחם בקרב שילה. הוא נבחר לקונגרס ב-1862 מטעם אוהיו. במהלך שירותו בבית הנבחרים, תמך בתקן הזהב וזכה למוניטין של נואם מוכשר. גרפילד הסכים בהתחלה עם הרפובליקנים הקיצוניים בסנאט בנוגע לשיקום הדרום, אולם לאחר מכן אימץ קו מתון בכל הנוגע לשמירת זכויות האזרח לעבדים המשוחררים.