虚弱的身体雪上加霜，他已经无法前往法兰克福参加自己的就职典礼，因此州政府官员安排他于1867年9月3日在自己家里宣誓就职。州务卿在哈丁县法院宣读了州长的就职演说文稿，其中重申了赫姆为前邦联支持者去除政治障碍的意向，并指责国会插手各州事务。不过他虽然承诺为黑人提供保护，但却反对给予黑人选举权。1867年9月8日，约翰·拉鲁·赫姆在担任第24任肯塔基州州长仅五天后逝世，享年65岁。他下葬在赫姆广场的家族墓地，赫姆广场也于1976年11月9日成为美国国家史迹名录之一。