Ve vládních funkcích se od čtyřicátých let aktivně zabýval diplomatickou situací v Evropě a kvůli neochotě opustit kontinent odmítl opakované nabídky na post generálního guvernéra v Kanadě a Indii. Své zkušenosti plně zúročil ve funkci ministra zahraničí, kterou zastával celkem třikrát (1853–1858, 1865–1866 a 1868–1870). Projevil značné diplomatické nadání a pomáhal udržovat velmocenské postavení Británie, v roce 1856 se zúčastnil kongresu v Paříži, který ukončil krymskou válku. Zde dosáhl úspěchu mimo jiné díky přátelství s francouzskou císařovnou Evženií, s níž se znal již z doby svého působení ve Španělsku. Naopak přílišné sympatie k francouzské císařské rodině mu později uškodily a v roce 1859 se do vlády nedostal. V letech 1861–1864 byl předsedou vládní komise pro školství, ministrem se stal znovu až v roce 1864 jako lord kancléř vévodství lancasterského, ministrem zahraničí byl opět v letech 1865-1866 a 1868-1870. V této době uspěl v jednáních se Spojenými státy, naopak se mu nepodařilo prosadit britské zájmy proti Rusku ve střední Asii