党派大会第六轮投票中获提名并当选，一直任职到1861年。加菲尔德在俄亥俄州议会最重要的举措是提出法案开展该州史上首次地质测绘，探查州内矿产资源，但法案未获通过。
南北战争.亚伯拉罕·林肯当选总统后，南方许多州宣布脱离联邦另组美利坚联盟国。加菲尔德认为内战如同打击奴隶制强权的圣战，一边研读军事着作，一边焦急地等待战事消息。1861年4月，邦联叛军轰炸桑特堡，拉开南北战争序幕。加菲尔德没有受过军事训练，但坚信自己应该投身联邦军。应州长威廉·丹尼森（）要求，加菲尔德暂时搁置从军报负，