ジェイムズ・ブルース (第8代エルギン伯爵)
日本を離れ、1858年9月3日に上海に戻ったエルギン伯は、上海会議において税率改定、内地通過税の限定、アヘン貿易の合法化を内容とする通商章程善後条約を清政府との間に締結した。天津条約で開港された揚子江流域の鎮江、九江、漢口を視察した後、1859年3月にイギリスへの帰国の途に就いた。
帰国後、エルギン伯はパーマストン子爵内閣の郵政長官(英語版)に就任した。また1859年には、秘書のローレンス・オリファントが中国・日本滞在中の記録をまとめた本を出版した(下記の日本語訳『エルギン卿遣日使節録』は、日本滞在の部分のみ)。
ところが、清政府にとって天津条約は英仏連合軍の北京進攻を防ぐための便宜的手段でしかなかったから、その後も条約を守ろうとしなかった。特に公使の北京駐留、内地旅行、内港開港については実行する意思をまるで見せなかった。そのため英仏連合軍は再度武力行使する必要に迫られた。
1841年4月22日、保守党の庶民院議員チャールズ・カミング=ブルース(英語版)の娘エリザベス・メアリー・カミング=ブルース(Elizabeth Mary Cumming-Bruce,生年不詳-1843)と最初の結婚をした。彼女との間に以下の娘を儲けた。
第1子(長女)エルマ・ブルース(Lady Elma Bruce, 生年不詳-1923) - 自由党の政治家第5代サーロー男爵(英語版)トマス・ホヴェル=サーロー=カミング=ブルース(英語版)と結婚
最初の妻エリザベスはエルギン伯がジャマイカ総督として着任した後、ジャマイカにおいて急逝。
1846年にホイッグ党急進派の政治家の初代ダラム伯爵ジョン・ラムトンの娘メアリー・ルイーザ・ラムトン(英語版)(Lady Mary Louisa Lambton, 生年不詳-1898)と再婚。彼女との間に以下の3男を儲けた。
第2子(長男)ヴィクター・アレグザンダー・ブルース(Victor Alexander Bruce,1849-1917) - 第9代エルギン伯爵位を継承。自由党の政治家。
第3子(次男)ロバート・プレストン・ブルース(英語版)(Hon. Robert Preston Bruce, 1851-1893) - 自由党の庶民院議員
第4子(三男)フレデリック・ジョン・ブルース(Hon. Frederick John Bruce, 1854-1920)
1839年にファイフ選挙区(英語版)から庶民院議員選挙に出馬するも落選。しかし1841年の総選挙(英語版)でハンプシャー州のサウサンプトン選挙区(英語版)から当選し、独立会派の庶民院議員となった。
1840年に異母兄ジョージが死去したため、エルギン伯爵位の法定推定相続人となり、翌年11月14日に父が死去したことで爵位を継承した。継承した爵位は全てスコットランド貴族だったのでこの継承で貴族院議員に転じることはなかった。