至1861年，他在俄亥俄州参议院任职。加菲尔德反对南方邦联分裂国家，南北战争期间在联邦军服役，官拜少将，曾参与米德尔克里克之役、夏罗之役和奇卡莫加战役。1862年，他当选俄亥俄州第十九国会选区联邦众议员，此后持续任职十七年半。加菲尔德在国会始终坚定支持金本位，并以高超的演说功底闻名。他起初认可激进派共和党的重建思想，后来逐渐偏向以温和手段保障自由民的公民权利。加菲尔德本无意入主白宫，但1880年共和党全国大会代表一直无法达成共识，最后在第36轮投票选中他为折衷人选。他在1880年总统大选中采用低调的前门