杰明·哈丁，一次两人正在商谈事宜时，哈丁14岁的女儿露辛达走进房间给父亲看自己所绘的一幅地图。赫姆之后表示自己对露辛达一见钟情，并随即开始展开追求。两人交往了七年后于1830年结婚，一共生了六个女儿和五个儿子。本杰明·哈丁·赫姆是他的其中一个儿子，曾是美国内战期间南方邦联军队的将军，在奇克莫加战役中战死。
政治生涯.赫姆学习法律期间，肯塔基州存在一个重大的政治问题，即新老法院争议一事。由于1819年大恐慌的影响，肯塔基州人要求减免债务。肯塔基州议会为此通过了一项法案，宽限债务人两年