影响力更渐遭托利党政治家标得伯爵取代。及至1762年，由于内阁反对纽卡素公爵建议继续资助盟国普鲁士，纽卡素公爵遂在1762年5月7日辞职，此后哈德威克伯爵亦再没有被召到内阁议政。
晚年.退出内阁后，哈德威克伯爵曾于1762年在上议院抨击标得伯爵与法国订立和约，翌年3月28日，他又在上院发言反对政府计划对苹果酒征税，这是他最后一次在上院发言。在1763年4月8日，标得伯爵因失势而辞职，并由辉格党的乔治·格伦维尔接任首相。但由于乔治三世对内阁班子不满，他遂在同年6月强烈坚持由哈德威克