于1860年2月21日辞职，詹姆斯·格思里继任，通往孟菲斯的铁路最终在同年9月24日建成。
内战和再度当选州长.1861年1月8日，赫姆在路易维尔主持了一次会议，主张肯塔基州在内战中保持中立。他公开反对分裂国家，但也谴责了亚伯拉罕·林肯的当选，以及使用武力强迫南方州就范的做法。由于他没有谴责自己的儿子本杰明加入邦联军队，联邦政府因此认为他对南方抱持同情。得知前州长查尔斯·S·莫尔黑德（）遭到联邦机构逮捕后，赫姆担心自己也会被捕而逃往鲍灵格林。在华纳·安德伍德（）的干预下他得以返