里则出掌陆军及殖民地大臣一职。但小皮特不久却在1806年因故逝世，卡苏里于是随「贤能内阁」的成立而辞职。然而，「贤能内阁」仅存活了一年多，便在纷乱之中垮台，到1807年，新任首相波特兰公爵重新任用卡苏里为陆军及殖民地大臣。可是，卡苏里其后却与时任外相乔治·坎宁在瓦尔赫伦长征（Walcheren Expedition）大败一事上出现纷争，两人事后更在1809年展开决斗，结果两人都被迫辞去政府职务。三年后，即1812年3月，卡苏里获时任英国首相斯宾塞·珀西瓦尔委任为外务大臣，由此展开其长达10年的外相生涯。