，亨利卖掉爱德华王子县地产，举家迁居坎贝尔县的长岛种植园。1794年他买下夏洛特县的红山（），这里距一家人生活的布鲁克尼尔（）很近，但“身体吃不消的季节”就会搬回长岛过日子。1796年，老友亚当斯在大选中战胜对头杰斐逊当选总统，令亨利非常欣慰，但他忠于联邦党的立场受到1798年《客籍法和镇压叛乱法》考验，最终他保持沉默，支持温和派联邦党人马歇尔竞选联邦众议员，后者以微弱优势胜出。弗吉尼亚州联邦党人对亨利施压，要求他重返政坛，但他一直坚持到1799年初才因前总统华盛顿敦促同意。谢绝亚当斯总统的法国特使任命后，