重新任用卡苏里为陆军及殖民地大臣。可是，卡苏里其后却与时任外相乔治·坎宁在瓦尔赫伦长征（Walcheren Expedition）大败一事上出现纷争，两人事后更在1809年展开决斗，结果两人都被迫辞去政府职务。三年后，即1812年3月，卡苏里获时任英国首相斯宾塞·珀西瓦尔委任为外务大臣，由此展开其长达10年的外相生涯。而在同年5月，斯宾塞·珀西瓦尔在国会大楼遇刺身亡，卡苏里遂兼任下议院领袖一职。在外务大臣任内，卡苏里于1814年3月在休蒙成功促使英国、奥地利帝国、俄罗斯帝国和普鲁士王国结成日后所谓的「四