ドリー・マディソン
生い立ち
1768年5月20日にイギリス領北米植民地のノースカロライナ植民地ギルフォード郡にてクエーカー教徒のジョン・ペイン（1736-1792）とメアリー・コールズ・ペイン（1745-1807）の長女（3人の兄・1人の弟・3人の妹）として生まれた。父のジョンは元来はクエーカー教徒では無かったが、クエーカー教徒のメアリーと結婚して改宗した。奴隷制を否定するその教えにもとづき、所有していた奴隷を全員解放した。
1769年に両親が以前に住んでいたバージニア王室領植民地に戻り、少女時代の多くをこの地で過ごした。
1783年にクエーカー教徒の町であるフィラデルフィアに移った。ジョンはこの地で始めた洗濯仕上げ用の糊を製造する事業に失敗してクエーカーから追放されてしまった。
二度の結婚
ドリーは1790年1月7日、21歳の時にジョン・トッド（1763-1793）と最初の結婚をした。トッドはクエーカー教徒の弁護士だった。二人の間には2人の子供、ジョン・ペイン・トッド（1792-1852）とウィリアム・アイザック・トッド（1793）が生まれた。
黄熱病の流行が原因で、夫と下の息子は同じ1793年10月14日に亡くなってしまった。笑みを浮かべた蒼い瞳、美しい肌、黒い巻き毛、人を惹きつける魅力を持つと言われた25歳の子連れの未亡人に多くの男性が言い寄った。トマス・ジェファーソン政権下で副大統領を務めたアーロン・バー合衆国上院議員もその一人だった。
ドリーは結局、当時すでに42歳で「リトル・ジェミー」と呼ばれた小男、ジェームズ・マディソン下院議員からの求婚を受け入れ、1794年9月15日に二度目の結婚をした。マディソンは初婚で、未亡人と結婚した3人目（前の2人はジョージ・ワシントンとトマス・ジェファーソン）のアメリカ合衆国大統領経験者であるが、ドリーはマーサ・ワシントンとマーサ・ジェファーソンとは違い、財産らしきものはほとんど無かった。二人の結婚を盛んに勧めたのは遠縁の従姉にあたるマーサ・ワシントンだった。彼女の夫のワシントン大統領も女同士が話し込んでいるところに顔を出して「彼は将来、おそらく大統領になるとても有望な男だ」と言い切った。迷うドリーにマーサ夫人も「彼はきっと良い夫になりますよ。歳がうんと離れてるからかえって良いのです」と言い、この大統領夫妻のアドバイスがドリーを結婚に踏み切らせたのだった。
クエーカーの教会から教徒以外の男と再婚したという理由で破門されてしまい、これを機にドリーは変わった。それまではつましい生活をしていたのに、華やかな衣装を着て、豪華なパーティーを開くようになった。これが歴代大統領の中で最も小柄（身長162.5cm、体重45.36kg）でドリーよりも背が低く、地味でまるで葬式に出かけるようだと悪口を言われた夫のマディソンにも好影響を与えた。彼もダンスをするようになり、座談上手にもなった。ドリーは夫を「偉大な小マディソン」と呼んだ。
ファーストレディとして
1801年にマディソンがジェファーソン新大統領から国務長官に任命されると、夫妻はワシントンD.C.に移り住んだ。ジェファーソンが男やもめだったため、ドリーがファーストレディの代役を務めることが多かった。料理のメニューに工夫を凝らして主にアメリカ料理を出すようにしたので、彼女のレシピは多くの人々の関心を集めた。人の顔と名前をすぐに覚える能力の持ち主であり、公平かつ陽気に人々を接待し、政治にはあまり口出ししないようにした。
ホワイトハウスのホステスであったドリーの人気の高さはマディソンの1808年の大統領選挙と1812年の大統領選挙における勝利にも一役買ったと言われている。1809年3月4日の夫マディソンの大統領就任式に出席し、正式にファーストレディになった。彼女は夫の就任式に立ち会った最初のファーストレディである。式では人々の心に強く印象付ける大きな羽飾りが付いた紫のベルベットを着ていた。
就任式の後にすぐにホワイトハウスを改装して最高級の料理人を雇い、豪華なパーティーを催し、多くの人々をもてなした。招待客は家柄や財産、格式よりその人のウィット、魅力、能力を重視して選ぶようにした。
1814年のホワイトハウス焼き討ち
1812年に勃発した米英戦争は重要な局面を迎えた。イギリス軍がチェサピーク湾に上陸し、ワシントンD.C.への侵攻を開始したのである。この時にマディソンはアメリカ軍を率いてバージニアにいたが、ドリーは貴重品を持ち運ぶために最後までホワイトハウスに残っていた。1814年8月24日午後1時半頃、食事をしていたドリーは遠くにイギリス軍の放つ砲声を聞き、急いでホワイトハウスの貴重な歴史的書物や宝物を馬車に積み込み、避難させた。その中には彼女が苦心して額縁から外して持ち出したとされる、有名なギルバート・スチュアートの描くワシントンの肖像画も含まれていた。ドリーはイギリス軍撤退のしらせを聞くと夫より先にワシントンD.C.に戻り、市民の大歓迎を受けた。彼女は「敵は自由の民を脅かすことは出来ない」と叫び、焼け野原となった首都の復興を誓った。
イギリス軍はホワイトハウスや国会議事堂にも火を放っていたので、ホワイトハウスは外壁を残して内部が完全に焼け落ちてしまい、マディソン大統領夫妻は「オクタゴンハウス」と呼ばれる近くの建物に1年以上も仮住まいすることになった。
アメリカ合衆国建国の父であるワシントンの肖像画を守るという愛国的行為は後世に語り継がれ、彼女の人気はより一層高められることになった。しかし、この時の現場を目撃している当時15歳でマディソン大統領専用の家事使用人であったポール・ジェニングスは1865年に回想録を出版し、その中で彼女にはワシントンの肖像画を持ち出す時間は残されておらず、実際に持ち出したのは庭師と門番だったとこれを否定している。
マディソン大統領退任後
マディソン大統領退任後の1817年4月6日にドリーは夫とともにバージニア州モントピリアの邸宅に戻った。彼女の引退を惜しむ声は多く、ドリーもそうした要望に応えてしばしばこの邸宅に内外の賓客を招いて盛大にもてなした。
1836年に夫のマディソンが亡くなった。翌1837年秋にドリー夫人は再びワシントンD.C.に戻った。すでに70歳近かったが健在であり、当時のマーティン・ヴァン・ビューレン大統領はじめワシントンD.C.の多くの住民が彼女の復帰を大いに喜んだ。議会が彼女のために特別席をもうけたところにも彼女の人気ぶりが伺える。
マディソン大統領との間にはついに子供は出来なかった。唯一残された前の夫との間の子供のペインがとんでもないドラ息子で、博打にはまって借金を重ねたためにドリーはついにマディソンがモントピリアに残した邸宅を売却して借金を支払った。議会も彼女の苦境に同情し、マディソンが残した1787年に制憲議会で書いた覚書などの貴重な文書を買い上げた。その後にペインが浪費してしまってドリーが再び困窮すると、今度は浪費出来ないようにするための信託基金を設置した。
以前のように盛大なパーティーを開くわけにはいかなくなったが、それでも月一回は開くようにして、常にワシントンD.C.の話題の中心となった。かつてのファーストレディのルイーザ・アダムズとは緊密な友情を維持し、男やもめのヴァン・ビューレン大統領の長男に自分の親戚の娘を嫁に世話したりもした。
ドリーは1837年以降、亡くなるまでワシントンD.C.にとどまった。
1849年7月12日にこの世を去った。81歳没。彼女の葬儀において、当時のザカリー・テイラー大統領は「彼女は永遠に記憶に残ることでしょう。なぜならば、彼女は半世紀にわたり、まさに私達にとって第一級の女性（First Lady）であったからです」と最大級の賛辞を述べ、これがファーストレディと最初に呼ばれた例として言い伝えられている。しかし、この賛辞の当時の書面による記録は現在残されていない。
記念硬貨
大統領1ドル硬貨プログラムの一環として2007年11月19日に合衆国造幣局はドリー・マディソンの栄誉を称える10ドル金貨と銅メダルを発行した。