Vuoden 1812 sodassa britit miehittivät Washingtonin ja polttivat presidentin virka-asunnon Valkoisen talon. Dolley Madison pakeni vasta viime hetkellä, kun britit olivat muutaman mailin päässä, mutta hän pakkasi mukaansa kuuluisan George Washingtonin muotokuvan ja mahdollisesti myös Amerikan itsenäisyysjulistuksen. Dolleyn urheudesta kirjoitettiin laajasti lehdistössä, ja vaikka Madisonia oli kehotettu siirtämään hallintonsa ja maan pääkaupunki turvallisempaan paikkaan, Valkoisen talon symboliarvo oli niin suuri, että kongressi päätti sittenkin jälleenrakentaa Capitolin ja Valkoisen talon.