1814年8月に大統領官邸は1812年戦争のブラーデンスバーグの戦いでの敗北により、イギリス軍による焼き討ちにあい、石積みの外壁を残して全てが灰燼に帰してしまった。第4代大統領ジェームズ・マディソンは設計者のジェームズ・ホーバンを監督に任じ、焼け残った外壁を使って焼失前とほぼ変わらない官邸を再建し、1817年に完成した。この時焼け焦げた外壁を白く塗装したことから官邸は現在のように「ホワイトハウス」と呼ばれるようになった。現在でも焼けこげた壁の一部は保存されており、トルーマン・バルコニーでこれを見ることができる。