У маладосці Гарфілд знаходзіўся ў цяжкіх умовах на ферме ў Агаё з сваёй аўдавелай маці. Ён працаваў на розных працах, у тым ліку на лодцы на канале. Пачынаючы з 17 гадоў, ён наведваў некалькі школаў у Агаё, затым вучыўся ў Вільямс Каледжы ў Вільямтауне, штат Масачусэтс, які ён скончыў у 1856 годзе. Праз год, Гарфілд стаў займацца палітыкай як рэспубліканец. Ён ажаніўся з Лукрэцыяй Рудольф ў 1858 годзе і служыў у Сенаце штата Агаё (1859—1861). Гарфілд выступіў супраць аддзялення Канфедэратаў, служыў у якасці генерал-маёра ў войску Саюза падчас амерыканскай грамадзянскай вайны, ўдзельнічаў у баях каля Мідл-Крык, Шайло і Чыкамозе. Ён быў упершыню абраны ў Кангрэс у 1862 годзе як прадстаўнік 19-ай акругі Агаё. На працягу пряцяглай службы ў Кангрэсе пасля грамадзянскай вайны Гарфілд цвёрда падтрымліваў залаты стандарт і атрымаў рэпутацыю ўмелага прамоўцы. Гарфілд першапачаткова пагадзіўся з радыкальнымі рэспубліканскімі поглядамі адносна Рэканструкцыі, але пазней выступаў за ўмераны падыход да забеспячэння выканання грамадзянскіх правоў вольнаадпушчанікаў.