愿出任要职，并多番婉拒乔治三世的委任邀请。与此同时，纽卡素公爵却渐失乔治三世的信任，其影响力更渐遭托利党政治家标得伯爵取代。及至1762年，由于内阁反对纽卡素公爵建议继续资助盟国普鲁士，纽卡素公爵遂在1762年5月7日辞职，此后哈德威克伯爵亦再没有被召到内阁议政。
晚年.退出内阁后，哈德威克伯爵曾于1762年在上议院抨击标得伯爵与法国订立和约，翌年3月28日，他又在上院发言反对政府计划对苹果酒征税，这是他最后一次在上院发言。在1763年4月8日，标得伯爵因失势而辞职，并由辉格党的