刊宪，但是皮尔爵士的政府不久倒台，并由辉格党上台掌政。辉格党上台后取消任命，而阿美士德伯爵亦放弃任命，没有到任。阿美士德伯爵晚年退居自己在肯特郡的庄园宅第诺尔楼（Knole House），并在1857年3月13日逝世，享年84岁。他死后，遗体安葬于肯特郡塞文欧克斯（Sevenoaks）的塞文欧克斯教堂（Church of Sevenoaks），伯爵爵位由次子继承。
家庭.阿美士德伯爵曾两次结婚。第一次是在1800年7月24日与第五代普里茅斯伯爵遗孀莎拉·阿契尔（Sarah Ar