גרפילד נולד בעיר חירם שבמדינת אוהיו, השלישי מבין שמונת ילדיהם של בני הזוג ג'יימס ולוקרישיה גרפילד. בטרם נבחר אביו לנשיא ארצות הברית למד בבית הספר סנט פול בקונקורד שבמדינת ניו המפשייר. בהיותו בן 15 היה עד להתנקשות באביו בתחנת רכבת בוושינגטון על ידי צ'ארלס גיטו. השניים היו בדרכם למכללת ויליאמסטון במסצ'וסטס, שאליה התקבל גרפילד הצעיר, ובה החל ללמוד לאחר מותו של אביו. הוא סיים את לימודיו בשנת 1885, ואז עבר ללמוד משפטים באוניברסיטת קולומביה. ב-1888 סיים את לימודיו, התקבל ללשכת עורכי הדין של אוהיו, ופתח בקליבלנד את משרד "גרפילד את גרפילד" עם אחיו הארי אוגוסטוס גרפילד. משנת 1890 ועד מותה ב-1930 היה גרפילד נשוי להלן ניואל. נכדם של השניים, ניואל גרפילד, נישא לימים לג'יין הריסון ווקר, נכדתו של הנשיא בנג'מין הריסון.