任总统汤玛斯·杰佛逊于1801年搬入白宫后，他和建筑师为了隐蔽白宫马厩与储藏室，而在白宫每侧增添少许列柱。到了1814年，英军在1812年战争中纵火摧毁华盛顿特区，白宫内部遭受火焚，外观也被烧黑。待美军收复华盛顿后，美国政府便立刻重建白宫，第五任总统詹姆斯·门罗于1817年10月搬进部分重建完成的白宫行政官邸。其后白宫建筑工事仍持续进行，美国政府分别于1824年和1829年完成增建白宫南、北面的门廊。随着美国政府逐渐扩大，白宫作为办公场所显得越来越拥挤。第二十六任总统西奥多·罗斯福于1901年要求白宫内