ドリー・マディソン
1812年に勃発した米英戦争は重要な局面を迎えた。イギリス軍がチェサピーク湾に上陸し、ワシントンD.C.への侵攻を開始したのである。この時にマディソンはアメリカ軍を率いてバージニアにいたが、ドリーは貴重品を持ち運ぶために最後までホワイトハウスに残っていた。1814年8月24日午後1時半頃、食事をしていたドリーは遠くにイギリス軍の放つ砲声を聞き、急いでホワイトハウスの貴重な歴史的書物や宝物を馬車に積み込み、避難させた。その中には彼女が苦心して額縁から外して持ち出したとされる、有名なギルバート・スチュアートの描くワシントンの肖像画も含まれていた。ドリーはイギリス軍撤退のしらせを聞くと夫より先にワシントンD.C.に戻り、市民の大歓迎を受けた。彼女は「敵は自由の民を脅かすことは出来ない」と叫び、焼け野原となった首都の復興を誓った。
イギリス軍はホワイトハウスや国会議事堂にも火を放っていたので、ホワイトハウスは外壁を残して内部が完全に焼け落ちてしまい、マディソン大統領夫妻は「オクタゴンハウス(英語版)」と呼ばれる近くの建物に1年以上も仮住まいすることになった。
アメリカ合衆国建国の父であるワシントンの肖像画を守るという愛国的行為は後世に語り継がれ、彼女の人気はより一層高められることになった。しかし、この時の現場を目撃している当時15歳でマディソン大統領専用の家事使用人であったポール・ジェニングス(英語版)は1865年に回想録を出版し、その中で彼女にはワシントンの肖像画を持ち出す時間は残されておらず、実際に持ち出したのは庭師と門番だったとこれを否定している。