Im neuen Ministerium Palmerston-Russell, das 1859 gebildet wurde, übernahm er wieder die Stelle des "Lord President of the Council" und wurde im Oberhaus der Hauptvertreter des Kabinetts, mit dem er 1866 zurücktrat. 1862 war er Präsident der Kommission für die zweite Weltausstellung. Inzwischen war 1860 seine Frau verstorben. 1865 wurde er Lord Warden of the Cinque Ports und heiratete Miss Castalia Campbell. Während des Amerikanischen Bürgerkriegs trat er für eine strikte Neutralität ein, die dann von der Regierung auch umgesetzt wurde.