John Adams volt az első elnök, aki 1800. november 1-jén beköltözhetett az épületbe. Az 1812-es háború során a brit csapatok 1814-ben Washington nagy részét felégették, és a Fehér Házat kirabolták, belsejét lerombolták, csak a külső falak maradtak épen. Azonban később az épületet sikeresen újjáépítették és a falakat újra fehérre festették. (Fontos megemlíteni, hogy a Fehér Ház egészen 1798-tól fehérre volt festve, és a nevét nem a tűz utáni újrafestéskor érdemelte ki, mint azt egy népszerű legenda állítja.)