Vuoden 1812 sodassa vuonna 1814 brittijoukot sytyttivät talon tuleen. Suunnittelija James Hoban pestattiin korjaamaan rakennus, ja vuonna 1817 presidentti James Monroe muutti siihen. Hänen hallintoaikanaan 1824 rakennettiin eteläinen portiikki ja Andrew Jacksonin aikana 1829 pohjoinen portiikki. Vuosisadan loppupuolella tehtiin useita suunnitelmia laajentaa presidentin rakennusta tai rakentaa kokonaan uusi talo presidentille, mutta suunnitelmat eivät toteutuneet. Valkoinen talo oli Yhdysvaltain suurin talo vielä sisällissodan päättymisenkin jälkeen 1865.