清父亲的债务并买下赫姆家族的宅基地。从1832年到1840年，他在这片土地上建起了赫姆广场（），终其一生都将以这里作为自己的家。1823年，赫姆结识了联邦众议员本杰明·哈丁，一次两人正在商谈事宜时，哈丁14岁的女儿露辛达走进房间给父亲看自己所绘的一幅地图。赫姆之后表示自己对露辛达一见钟情，并随即开始展开追求。两人交往了七年后于1830年结婚，一共生了六个女儿和五个儿子。本杰明·哈丁·赫姆是他的其中一个儿子，曾是美国内战期间南方邦联军队的将军，在奇克莫加战役中战死。
政治生涯.赫