喬治·坎寧
不久以後，托利黨內有關解放天主教的紛爭冷卻下來，卡蘇里於是在1802年重返政府，出任管理委員會主席（President of the Board of Control）一職。在1804年，經過他的大力遊說，小皮特得以重任英國首相，而卡蘇里則出掌陸軍及殖民地大臣一職。但小皮特不久卻在1806年因故逝世，卡蘇里於是隨「賢能內閣」的成立而辭職。然而，「賢能內閣」僅存活了一年多，便在紛亂之中垮台，到1807年，新任首相波特蘭公爵重新任用卡蘇里為陸軍及殖民地大臣。可是，卡蘇里其後卻與時任外相喬治·坎寧在瓦爾赫倫長征（Walcheren Expedition）大敗一事上出現紛爭，兩人事後更在1809年展開決鬥，結果兩人都被迫辭去政府職務。