「贤能内阁」仅存活了一年多，便在纷乱之中垮台，到1807年，新任首相波特兰公爵重新任用卡苏里为陆军及殖民地大臣。可是，卡苏里其后却与时任外相乔治·坎宁在瓦尔赫伦长征（Walcheren Expedition）大败一事上出现纷争，两人事后更在1809年展开决斗，结果两人都被迫辞去政府职务。三年后，即1812年3月，卡苏里获时任英国首相斯宾塞·珀西瓦尔委任为外务大臣，由此展开其长达10年的外相生涯。而在同年5月，斯宾塞·珀西瓦尔在国会大楼遇刺身亡，卡苏里遂兼任下议院领袖一职。在外务大臣任内，卡苏里于1814