ドリー・マディソン
マディソン大統領退任後の1817年4月6日にドリーは夫とともにバージニア州モントピリアの邸宅に戻った。彼女の引退を惜しむ声は多く、ドリーもそうした要望に応えてしばしばこの邸宅に内外の賓客を招いて盛大にもてなした。
1836年に夫のマディソンが亡くなった。翌1837年秋にドリー夫人は再びワシントンD.C.に戻った。すでに70歳近かったが健在であり、当時のマーティン・ヴァン・ビューレン大統領はじめワシントンD.C.の多くの住民が彼女の復帰を大いに喜んだ。議会が彼女のために特別席をもうけたところにも彼女の人気ぶりがうかがえる。
マディソン大統領との間にはついに子供は出来なかった。唯一残された前の夫との間の子供のペインがとんでもないドラ息子で、博打にはまって借金を重ねたためにドリーはついにマディソンがモントピリアに残した邸宅を売却して借金を支払った。議会も彼女の苦境に同情し、マディソンが残した1787年に制憲議会で書いた覚書などの貴重な文書を買い上げた。
その後にペインが浪費してしまってドリーが再び困窮すると、今度は浪費出来ないようにするための信託基金を設置した。
以前のように盛大なパーティーを開くわけにはいかなくなったが、それでも月一回は開くようにして、常にワシントンD.C.の話題の中心となった。かつてのファーストレディのルイーザ・アダムズとは緊密な友情を維持し、男やもめのヴァン・ビューレン大統領の長男に自分の親戚の娘を嫁に世話したりもした。
ドリーは1837年以降、亡くなるまでワシントンD.C.にとどまった。
1849年7月12日にこの世を去った。81歳没。彼女の葬儀において、当時のザカリー・テイラー大統領は「彼女は永遠に記憶に残ることでしょう。なぜならば、彼女は半世紀にわたり、まさに私達にとって第一級の女性(First Lady)であったからです」と最大級の賛辞を述べ、これがファーストレディと最初に呼ばれた例として言い伝えられている。しかし、この賛辞の当時の書面による記録は現在残されていない。