行决斗。两人间的决斗在1809年9月21日举行，由于坎宁从未开过手枪，结果他在决斗中没有命中卡斯尔雷，卡苏里则射伤了坎宁的大腿。事件公开以后，舆论对两名内阁成员诉诸武力解决不和，感到震惊和愤慨。随后，波特兰公爵因健康状况恶化而辞去首相一职，坎宁遂向英皇乔治三世自荐出任首相，但乔治三世却选择了斯宾塞·珀西瓦尔。坎宁唯有再次离开政府，而令他安慰的是，卡苏里也选择辞职。
重返政府.珀西瓦尔在1812年被刺杀身亡后，继任的首相利物浦勋爵，再次委任坎宁为外务大臣。但是，坎宁却希望同时出掌下议