加菲尔德出身东北俄亥俄贫困家庭，从威廉姆斯学院毕业后研读法律并当上律师，1857年加入共和党从政。1859至1861年，他在俄亥俄州参议院任职。加菲尔德反对南方邦联分裂国家，南北战争期间在联邦军服役，官拜少将，曾参与米德尔克里克之役、夏羅之役和奇卡莫加战役。1862年，他当选俄亥俄州第十九国会选区联邦众议员，此后持续任职十七年半。加菲尔德在国会始终坚定支持金本位，并以高超的演说功底闻名。他起初认可激进派共和党的重建思想，后来逐渐偏向以温和手段保障自由民的公民权利。