塞州威廉斯敦的威廉姆斯学院学习，于1856年毕业。次年，加菲尔德以共和党人身份步入政坛。1858年，他和卢克丽霞·鲁道夫（）成婚，再于1859至1861年当选俄亥俄州参议员。加菲尔德反对南方脱离联邦，于内战期间加入北军，先后参与中央溪战役、希洛战役和奇卡莫加战役，官拜少将。1862年，他首度当选联邦众议员，代表俄亥俄州第19国会选区。加菲尔德在内战结束长年担任国会议员，在此期间坚定支持金本位，并以演讲技巧纯熟闻名。他起初认同激进派共和党人对重建的看法，但后来开始偏向以更加温和的方式保障自由人的公民权利。