Vervolgens bewees Castlereagh dat hij een kundige minister van oorlog en koloniën was in de korte tijd dat hij deze positie bekleedde. In 1809 raakte hij als minister in een hevig conflict verwikkeld met de toenmalige minister van Buitenlandse Zaken George Canning over het mislukken van de Walcherenexpeditie in het Koninkrijk Holland. Hij baarde opzien door deze te verwonden in een duel. De verontwaardiging was groot, maar uiteindelijk wist hij aannemelijk te maken dat hij verraden was door zijn collega's. Hij was een bekwaam diplomaat, maar in eigen land erg impopulair.