レイチェル・ジャクソン
しかし、妻を中傷した卑劣な悪党どもは神に慈悲を請わねばならない」と述べた。彼女の墓碑には「とても思いやりがあり高潔なる人、中傷で傷付いたかもしれないが、その名誉まで汚すことは出来なかった」と刻まれた。
ジャクソンは自身が亡くなるまでジョン・クインシー・アダムズとその支持者を決して許さなかった。「統制下にある公的刊行物における立派な女性、ましてや世界第一級のオフィスを巡って争う政敵の妻に対する中傷を許容するような男はいかなる者であろうと尊敬に値しない」としてアダムズを軽蔑し、1829年3月の大統領就任式への招待を拒否した。このためにアダムズは父のジョン・アダムズと同様に親子二代揃って後任の大統領就任式に欠席することになった。大統領任期中に起きたペティコート事件(英語版)では他の閣僚夫人達からバッシングを受けたジョン・イートン陸軍長官の夫人、マーガレット・イートンを頑固なまでに擁護したが、これも亡き妻への強い思いによるものであったと言われている。
二期の大統領任期を務め上げた後、ジャクソンはレイチェルが心から愛したハーミテージの邸宅に戻り、この地で家族や友人と多くの時間を過ごした。生前にレイチェルに長老派教会の会員になるように誘われていたが、ジャクソンは政治から足を洗ったら会員になると妻に約束していた。