Em 1814, durante a Guerra de 1812, o edifício ardeu quando o exército britânico incendiou toda a cidade de Washington D.C., destruindo a parte interna e chamuscando muitas das paredes exteriores. A reconstrução iniciou-se quase imediatamente e o presidente James Monroe mudou-se para a semirreconstruída casa em outubro de 1817. A construção continuou com a adição do Pórtico Sul em 1824 e do Norte em 1829. Devido à aglomeração dentro da própria mansão executiva, o presidente Theodore Roosevelt teve quase todos os escritórios de trabalho relocalizados na recentemente construída Ala Oeste em 1901. Oito anos depois, o presidente William Howard Taft expandiu a Ala Oeste e criou o primeiro Salão Oval, o qual foi sendo posteriormente movido conforme a secção ia sendo expandida. O terceiro andar, que era um sótão, foi convertido em quartos comuns em 1927. A recém construída Ala Leste foi usada como uma área de recepção para eventos sociais; ambas as novas alas foram conectadas às colunas de Jefferson. As alterações na Ala Leste foram concluídas em 1946, criando um espaço para trabalho adicional. Em 1948, as paredes exteriores da casa e as vigas de madeira internas foram a principal razão do próximo fracasso. De acordo com o presidente Harry S. Truman, os quartos interiores foram completamente desmantelados, resultando na construção de um novo e interno vigamento de aço e na remontagem dos quartos interiores.