In 1814, tydens die Anglo-Amerikaanse Oorlog van 1812, is die herehuis deur die Britse Weermag aan die brand gesteek en is die binnekant verwoes en baie van die buitekant verkool. Herstelwerk het byna onmiddellik begin en president James Monroe het in Oktober 1817 in die gedeeltelik gerestoureerde woning ingetrek. Konstruksie het voortgegaan met die bylas van die Suidelike Voorportaal in 1824 en die Noordelike in 1829. As gevolg van oorbevolking binne die herehuis het president Theodore Roosevelt in 1901 amper al die werkskantore na die nuutgeboude Westelike Vleuel geskuif. Agt jaar later het president William Howard Taft die Westelike Vleuel uitgebrei en die eerste Ovale Buro geskep, wat uiteindelik geskuif is nadat die afdeling uitgebrei is. Die solder op die derde verdieping is in 1927 in woonkwartiere omskep. 'n Nuutgeboude Oostelike Vleuel is gebruik as ontvangsarea vir sosiale funksies; beide nuwe vleuels is deur Jefferson se kolonnades verbind. In 1946 is veranderinge aan die Oostelike Vleuel voltooi wat meer kantoorspasie geskep het. In 1948 is daar bevind dat die huis se buitenste steunmure en interne houtbalke naby ineenstorting was. Onder Harry S. Truman is die binnenste kamers heeltemal gedemonteer en is 'n nuwe interne gewigdraende staalraamwerk opgerig en is die binneste kamers weer hermonteer.