Første gang en president bodde i huset var i 1800. Under den britisk-amerikanske krig ble bygningen i 1814 satt i brann av britiske soldater og kun ytterveggene sto igjen. Huset ble gjenoppbygget og veggene ble malt hvite for å dekke over merkene etter brannen.