Han tjente som kansler for hertugdømmet Lancaster mellom januar og juni 1828 og deretter som utenriksminister fram til 1830 under hertugen av Wellington.. Han trakk seg sammen med Wellington over Reformlovforslaget av 1832. Han var minister for krig og koloniene (1834-1835) og utenriksminister på nytt (1841-1846) under Robert Peel. Det var i løpet av hans andre omgang som utenriksminister at han bisatte to uenigheter med USA, den nordøstlige grensetvisten med Webster-Ashburton-avtalen av 1842 og Oregon-striden med Oregon-avtalen av 1846. Han arbeidet også med hell med å forbedre det politiske forholdet til Frankrike hvor François Guizot hadde blitt personlig venn. Han fulgte igjen sin leder og gikk av sammen med Peel over saken med Kornlovene. Etter Peels død i 1850 ble han en anerkjent leder for peelittene. Hans avsmak for Lovforslaget om geistlige titler, avslaget som han feilet å sikre i 1851, forhindret ham fra å bli medlem av regjeringen til lord John Russell.