V roce 1857 byl jmenován členem Tajné rady a jako zplnomocněný komisař vyslán s vojenským kontingentem do Číny, kde měl hájit britské obchodní zájmy. Mezitím ale vypuklo Velké indické povstání a Elgin svěřený vojenský sbor uvolnil pro udržení nadvlády v Indii. Do Číny se dostal až v roce 1858 a uzavřel Tiencinskou smlouvu, téhož roku získal Řád lázně. Po návratu do Anglie se stal v Palmerstonově vládě generálním poštmistrem (1859–1860), poté byl znovu vyslán do Číny a vydal pokyn k vypálení Letního paláce. Po uzavření Pekingské smlouvy (1860) a dvou cestách do Japonska se vrátil do Anglie. Po předchozích zkušenostech se nakonec dostal k nejvyššímu postu v britské koloniální správě a v lednu 1862 byl jmenován místokrálem a generálním guvernérem v Indii (byl nástupcem lorda Canninga, formálně převzal funkci až v březnu). Zemřel v Indii na mrtvici a byl zde také pohřben.