到1760年，乔治二世驾崩，并由其子继位成为乔治三世。哈德威克伯爵曾有意趁机退休，并劝纽卡素公爵一同淡出，但是建议被拒。此后，哈德威克继续支持纽卡素，但不愿出任要职，并多番婉拒乔治三世的委任邀请。与此同时，纽卡素公爵却渐失乔治三世的信任，其影响力更渐遭托利党政治家标得伯爵取代。及至1762年，由于内阁反对纽卡素公爵建议继续资助盟国普鲁士，纽卡素公爵遂在1762年5月7日辞职，此后哈德威克伯爵亦再没有被召到内阁议政。
晚年.退出内阁后，哈德威克伯爵曾于1762年在上议院抨击标得伯爵与