1823年，赫姆结识了联邦众议员本杰明·哈丁，一次两人正在商谈事宜时，哈丁14岁的女儿露辛达走进房间给父亲看自己所绘的一幅地图。赫姆之后表示自己对露辛达一见钟情，并随即开始展开追求。两人交往了七年后于1830年结婚，一共生了六个女儿和五个儿子。本杰明·哈丁·赫姆是他的其中一个儿子，曾是美国内战期间南方邦联军队的将军，在奇卡莫加战役中战死。