サラ・ジャクソン
サラは1837年にジャクソン大統領の任期が満了するまでホワイトハウスに滞在したが、再建を監督するために1度ザ・ハーミテージに向かったのを含めて数回ほど長期に渡り旅行した。1845年にジャクソン将軍が亡くなった後に、アンドリュー・ジャクソン・ジュニアがザ・ハーミテージを十分に経営し続けていなかったために、在職中に蓄積した負債が手に負えなくなった。これにより、1856年にザ・ハーミテージをテネシー州に売却することを余儀なくされた。最終的に、アンドリュー・ジャクソン・ジュニアは売却金でミシシッピ州ベイセントルイス付近のいくつかの不動産を購入して、1859年2月に引っ越す予定だった。アンドリュー・ジャクソン・ジュニアの悪い判断と天候に関連した災害により、長続きしない冒険的な計画だった。1860年秋までに、彼らはザ・ハーミテージに移り、州から借用することになった。その後の30年間、ジャクソン一家はその日暮らしになったという。サラは1865年に狩猟事故で夫を亡くし、南北戦争中のチカマウガの戦いで息子のサミュエルも亡くした。彼女は1887年にザ・ハーミテージで亡くなり、2年後にthe Ladies Hermitage Associationがテネシー州からザ・ハーミテージを買い戻して再建した。