体状况不稳，阿美士德伯爵启程回英国休养，回程前寄出了辞呈，正式辞去了印度总督一职。
晚年.阿美士德伯爵回国后，十分低调，只在1829年至1835年再领寝宫侍臣衔。在1835年，阿美士德伯爵获时任英国首相罗伯特·皮尔爵士提名任加拿大总督，有关任命原本已在同年4月1日刊宪，但是皮尔爵士的政府不久倒台，并由辉格党上台掌政。辉格党上台后取消任命，而阿美士德伯爵亦放弃任命，没有到任。阿美士德伯爵晚年退居自己在肯特郡的庄园宅第诺尔楼（Knole House），并在1857年3月13日逝世，