1814年英美1812年战争中，华盛顿大部分地区被英军纵火，白宫内部被焚毁。只有外墙残存，但后来重建。外墙重新刷成白色，但需要说明的是，白宫早在1798年起就一直被刷成白色，火灾后的重新粉刷不是像公众传闻所说是白屋名称的来由。1841年8月16日，当约翰·泰勒总统否决一项唿吁成立美国第二银行的法案时，白宫再遭袭击。被激怒的辉格党党员在白宫外制造当时乃至今天美国历史上发生在白宫广场的最血腥的骚乱。如同英格兰及爱尔兰风格的房屋般无拘无束，白宫引人注目地对外开放直到二十世纪早期。1805年，托马斯·杰斐逊总统在