菲尔德生于俄亥俄州一个不起眼的农场，家境贫寒，出生时就没了父亲，孤儿寡母相依为命。年轻时他到处打工，还曾在运河船上工作。17岁那年，他进入马萨诸塞州威廉斯敦的威廉姆斯学院学习，于1856年毕业。次年，加菲尔德以共和党人身份步入政坛。1858年，他和卢克丽霞·鲁道夫（）成婚，再于1859至1861年当选俄亥俄州参议员。加菲尔德反对南方脱离联邦，于内战期间加入北军，先后参与中央溪战役、希洛战役和奇卡莫加战役，官拜少将。1862年，他首度当选联邦众议员，代表俄亥俄州第19国会选区。加菲尔德在内战结束长年担任国会议