1814년에 미영 전쟁으로 건물이 영국군에 의해 수도 워싱턴이 점령된후 방화로 내부가 파괴되고, 바깥 대부분이 새까맣게 불탔다. 곧바로 재건을 시작하여 1817년 10월 제임스 먼로 대통령이 행정동 건물로 이주를 했다. 건축이 계속되어 1824년 남쪽 포르티코가 추가되었고, 1829년에는 북쪽이 완공되었다.