ガーフィールドはオハイオ州モアランド・ヒルズに生まれ、1856年にマサチューセッツ州のウィリアムズ大学を卒業した。1858年にルクレティア・ルドルフと結婚し、オハイオ州上院議員（1859年 - 61年）時の1860年に法曹界入りを認められた。ガーフィールドは南北戦争の間、少将として合衆国陸軍に勤務し、シャイローの戦いに参加した。奴隷制度と南部諸州の連邦離脱に反対し、1863年に共和党員として下院議員に選出された。1880年の大統領選ではユリシーズ・グラント、ジェームズ・ブレイン、ジョン・シャーマンといった共和党の主な候補者が大統領候補指名に必要な代議員を得ることができない中、ガーフィールドは妥協の産物として党大統領候補に指名されたが、本戦では首尾良く民主党候補のウィンフィールド・ハンコックに勝利した