複数の妻と数多くの愛人をもち、数多くのロマンチックな関係が知られていて、複数の子供たちの父親であった。3度の結婚歴がある。最初の妻はアンデスのロスチャイルドと呼ばれ、世界屈指の大富豪だったボリビアの鉱山王シモン・パティーニョの孫で、スペイン王家の縁戚にあたる少女のマリア・イサベル・パティーニョと恋仲になるが、ユダヤ人であることを理由にパディーニョ家側に大反対され、2人は駆け落ちをしたが、彼女は1954年に長女のイサベルを早産で出産した後に脳出血で急逝した。その後に再婚した2度目の妻のジネット・レイリーとの間には、次女のアリックスと長男のマネス（1959年生）の2人をもうけた。すでにビュート侯爵家に嫁いでいた第8代ロンドンデリー侯爵の娘アナベル・ヴェイン＝テンペスト＝ステュアートとは長く不倫の関係にあり、1978年に2人は正式に結婚した。三女ジェマイマ（1974年生、ユネスコ大使）は、クリケット界のスーパースターで、現在はパキスタンの政治家であるイムラン・カーンと離婚後に、人気俳優のヒュー・グラントと婚約するなど（のち解消）、イギリスの社交界や芸能ゴシップ誌を騒がせる美人セレブとして有名な存在である。次男ザカリアス（1975年生、環境活動家から保守党の国会議員へ転身）は、シーシェパードへの最大級の寄付金を援助する支援者として知られている。三男ベンジャミン（1980年生、ファイナンシャー）はアナベルとの間の子供である。1980年以降、ジェームズは愛人であるフランス貴族のロール・ブレイとアメリカのニューヨークへ移住する。彼女との間にシャーロット（1983年生）とジェスロ（1987年生）の2子をもうけた。亡くなるまで、ロールを公私ともに妻として扱っていた。
1997年に、癌により64歳でスペインの病院にて死去した。ゴールドスミスの個人資産は、見えているだけで数千億になるが、それも氷山の一角であると言われている。亡くなったとき、トニー・ブレアは「彼は非凡なキャラクターだった。そして、私はいつも彼の政治的見解に同意しなかったのだが、明らかに、彼は驚くべき、面白く、魅力的な男だった」と述べた。マーガレット・サッチャーは「ジミー・ゴールドスミスは、この世代で見られる最もパワフルでダイナミックな個性の一人であった。彼は非常に寛大であり、そして、信奉した理想には、猛烈に忠実だった」と述べた。
1900年アメリカ合衆国大統領選挙の結果、特に外交政策についてマッキンリー政権に判断させる機会を与えた。フィラデルフィアで開催された共和党大会はスペインとの戦争で勝利したことへの祝意を表し、繁栄の再現と門戸開放政策によって新しい市場を開拓することを表明した。1900年の選挙はほとんど1896年の再現となったが、新しい問題として帝国主義が付け加えられた（ハワイは1898年に併合されていた）。ウィリアム・ジェニングス・ブライアンは再度自由銀を掲げて選挙運動を行ったが、2度目の敗北を喫した。マッキンリー大統領は2期目の始まりも高い人気を誇っていたが、長続きはしなかった。1901年9月、ニューヨーク州バッファローの博覧会に出席しているときに、アナーキストのレオン・チョルゴスに銃で撃たれた。マッキンリーは暗殺されたアメリカ合衆国大統領として3人目だった。3人とも南北戦争の後の40年足らずの間の出来事だった。副大統領だったセオドア・ルーズベルトが大統領職を嗣いだ。ルーズベルトの就任は国内的にも国際事情においてもアメリカの政治に新しい時代を画した。大陸はアメリカ生まれではない人々で溢れ、フロンティアは消滅した。国の政治基盤は外国との戦争および内戦さらには景気の浮き沈みの試練に耐えた。農業、鉱業および工業では大きな進展を経験した。しかし、大企業の影響力はかつてないくらいしっかりと浸透していた。1883年の公務員改革法（あるいはペンドルトン法）で、連邦職員の大半は能力主義で評価され、いわゆる「猟官制度」は終わりを告げ、連邦政府の専門職化と合理化を認めた。しかし地方の自治対政府は腐敗した政治家、政治マシーンおよび「政治ボス」の手に残されたままだった。多くの州、郡および自治体では猟官制度が長生きし、タマニーホールの組織に至ってはニューヨーク市が公務員制度を改革した1930年代まで残った。イリノイ州はフランク・ローデンの元で1917年にその官僚機構を改革したがシカゴは1970年代まで利益供与制度を引き摺った。これら政治の欠陥に対して、1890年代に「進歩主義」と呼ばれる時代の精神が起こり、1917年にアメリカ合衆国が第一次世界大戦に参入するまで続いた。都会の政治ボスや腐敗した「泥棒男爵」に対する改革運動として、多くの自称進歩主義が現れた。事業の実効ある規制、復活された公務員の関与、および国の福祉と利益を確かなものにする政府管掌範囲の拡大に関する要求が増えた。政治、哲学、学会あるいは文学の世界のほとんどあらゆる著名人物が少なくとも一部は改革運動に関わった。トラスト、大型融資、不潔な食料および鉄道の虐待慣習を扱う記事が、日刊紙やマクルーアズやコリアーズのような人気有る雑誌に現れ始めた。スタンダードオイルのトラストを糾弾したジャーナリストのイーダ・ターベルのような著者はマクレイカー（醜聞を暴く人）と呼ばれるようになった。作家アプトン・シンクレアはその小説『ザ・ジャングル』でシカゴの食肉加工場の不衛生さや国内食肉供給ルートにおける牛肉トラストの一端を暴いた。進歩主義時代の作家の強い衝撃は、大衆間の特定部の目標を鼓舞し、特に大労働組合と大資本家に挟まれた中産階級が政治的行動を採るように駆り立てた。多くの州では人々が生活し働く条件を改善する法を制定した。ジェーン・アダムズのような著名社会批評家からの推奨で、児童労働法が強化され、年齢制限を上げ、労働時間を短縮し、夜間労働を制限し、学校への出席を要求する新しい法が採択された。