利·麦迪逊叫它做“总统的城堡”。直到1811年才首次出现公众因为它漆成白色的石制外墙而称之为“白宫”的记载。在西奥多·罗斯福总统于1901年以在信纸上印上“”（白屋）确立正式名称之前，“”（行政官邸）这一名称常常用于公文中。1800年11月1日，约翰·亚当斯成为首位入住白宫的总统。1814年英美1812年战争中，华盛顿大部分地区被英军纵火，白宫内部被焚毁。只有外墙残存，但后来重建。外墙重新刷成白色，但需要说明的是，白宫早在1798年起就一直被刷成白色，火灾后的重新粉刷不是像公众传闻所说是白屋名称的来由。