当斯入住以来，白宫就是美国历任总统在任时的居所。白宫由爱尔兰裔建筑师设计，工程期为1792年至1800年，建材使用白色的，风格则是新古典主义式样。第三任总统汤玛斯·杰佛逊于1801年搬入白宫后，他和建筑师为了隐蔽白宫马厩与储藏室，而在白宫每侧增添少许列柱。到了1814年，英军在1812年战争中纵火摧毁华盛顿特区，白宫内部遭受火焚，外观也被烧黑。待美军收复华盛顿后，美国政府便立刻重建白宫，第五任总统詹姆斯·门罗于1817年10月搬进部分重建完成的白宫行政官邸。其后白宫建筑工事仍持续进行，美国政府分别于18