レイチェル・ジャクソン
レイチェルはその飾り気の無い性格によって彼女をよく知る多くの人々から尊敬された。ハーミテージのプランテーションの管理を担当し、この地を訪れた多数の訪問客を快く歓迎した。ジャクソンと結婚してからは若い時の無邪気で陽気な性格から一変して敬虔で、信心深い女性になった。また、ジャクソンも妻のために激昂を抑える努力もするようになったが、数回ほど自分や妻を中傷したと見られる人々と殴り合いや撃ち合いを起こしている。1806年にジャクソンは妻を侮辱したチャールズ・ディキンソン(英語版)に決闘を挑み、致命傷を負わせた。
レイチェルが米英戦争中の1812年に、いつも留守がちの夫へ宛てた手紙には「大切なあなた。国や名誉や出世ばかり大事にし過ぎて妻がいることを忘れないで下さいね」と書かれている。ジャクソンは「君との思い出がある限り、君への愛が薄れることなんか絶対に無いんだよ」と返信した。公職を退いてハーミテージに落ち着いてほしいという自分の願いを夫に隠さなかったが、ジャクソンは出世への野心と妻に対する気持ちで揺れ動き、いつも最終的には公職に留まる方を選んでいた。
この脅迫が原因でジャクソンは監視官によって連行されたが、許可を得て肉切り包丁を持参し、ロバーズを睨み付けた。これに怯えたロバーズが突然逃げ出したため、ジャクソンに対する令状は破棄された。その後も二人の間で言い争いが起きたが、結局はロバーズが「今後はレイチェルに近付かない」と約束することで決闘の危機は回避された。
レイチェルは1790年秋、ロバーズが妻を力づくで連れ戻そうとナッシュビルに再びやってくる計画を耳にした。夫との生活はもはや無理だと考えていた彼女は当時まだスペインが保有していた領土で、親類や友人が住むナチェズに移り、身を隠す決心をした。ジャクソンはレイチェルや彼女の知人のロバート・スターク将軍らのミシシッピ川を航海する危険な旅に護衛として同行することを決めた。ジャクソンのこの行動は有利な条件で離婚手続きを開始するために必要な証拠をロバーズに与えることになった。
ジャクソンの友人は、その後に弁護士業のために一度ナッシュビルに戻ったジャクソンが「ロバーズがレイチェルとの訴訟を起こし、離婚の判決が下りた」というニュースを耳にするや否や、直ぐにナチェズに引き返したと後年に証言している。ロバーズが離婚手続きを既に終えていると勘違いした二人は1791年8月に結婚した。二人は同年秋にはナッシュビルに戻ってジャクソンが手に入れた農場に落ち着き、この地で近隣の住人から大切にされ、尊敬されながら暮らすことになった。