1772年被指定为为国王私家驰道的管理员。 1778年，他与阿巴斯诺特的母亲、一位富家小姐、爱德华·巴克利·巴特逊之女安妮·巴特逊结婚。这对夫妇有14个孩子：9个儿子和5个女儿。 小哈丽特的绝大部分童年时光是在高高坐落在格兰瑟姆镇之上石灰岩小山上、林肯郡的富尔贝村家中度过。那所亨利·费恩从父亲那继承的房子在阿巴斯诺特的童年时代还并非一套超大的现代公寓。它在1773年大火后进行了重建，并于1784年被亨利·费恩大大扩展了并使之现代化。在富尔贝哈丽特和她的13个兄弟姐妹享受了一个舒适而颇为富裕的乡村童年。