晚年.退出内阁后，哈德威克伯爵曾于1762年在上议院抨击标得伯爵与法国订立和约，翌年3月28日，他又在上院发言反对政府计划对苹果酒征税，这是他最后一次在上院发言。在1763年4月8日，标得伯爵因失势而辞职，并由辉格党的乔治·格伦维尔接任首相。但由于乔治三世对内阁班子不满，他遂在同年6月强烈坚持由哈德威克伯爵出任悬缺的枢密院议长之职，不过再度被哈德威克婉拒。一个月后，乔治三世打算让皮特组阁，皮特在内阁名单上以哈德威克为枢密院议长，但同时又提名纽卡素公爵为掌玺大臣，结果乔治三世打消