02年重返政府，出任管理委员会主席（President of the Board of Control）一职。在1804年，经过他的大力游说，小皮特得以重任英国首相，而卡苏里则出掌陆军及殖民地大臣一职。但小皮特不久却在1806年因故逝世，卡苏里于是随「贤能内阁」的成立而辞职。然而，「贤能内阁」仅存活了一年多，便在纷乱之中垮台，到1807年，新任首相波特兰公爵重新任用卡苏里为陆军及殖民地大臣。可是，卡苏里其后却与时任外相乔治·坎宁在瓦尔赫伦长征（Walcheren Expedition）大败一事上出现纷争，两