イザベラ・スチュワート・ガードナー
二人はジャックの存命中はそこで過ごした。
ジャックとイザベラの間には、1863年6月18日に生まれた一人の息子がいたが、1865年3月15日に肺炎のため死亡した。その1年後、イザベラは流産し、もう子供を産むことはできないと告げられた。同じ頃、親友の義姉も亡くなりました。ガードナーは極度の鬱状態に陥り、社会から引きこもるようになった。1867年、医師の勧めもあり、ジャックとともにヨーロッパへ旅立つ。イザベラの病状は重く、担架で船に乗せなければならなかった。二人はほぼ1年間、スカンジナビアやロシアを訪れましたが、ほとんどの時間をパリで過ごした。この旅は、イザベラの健康に望ましい影響を与え、彼女の人生の転機となった。この旅で、イザベラは旅の記録をスクラップブックにまとめるという生涯の習慣を身につけることになる。帰国後、彼女はファッショナブルでハイカラな社交家としての名声を確立し始める。
1875年、ジャックの兄ジョセフ・P・ガードナーは、3人の幼い息子を残して亡くなった。ジャックとイザベラは、その息子たちを「養子」として迎え、育てた。オーガスタス・P・ガードナーは当時10歳であった。イザベラの伝記作家モリス・カーターは、「この子たちに対する義務において、彼女は忠実で良心的であった」と記している。