جان آدامز اولین رئیس‌جمهور آمریکا بود که در کاخ سفید اقامت نمود و از آن دوران کاخ سفید همواره محل اقامت رئیس‌جمهور وقت آمریکا بوده‌است، هنگامی که توماس جفرسون (۱۸۰۱)در کاخ سفید اقامت یافت با کمک مهندس معمار بنجامین هنری لاتروب بنای بیرونی کاخ را با افزودن دو ستون گسترش داد، کاخ سفید در سال ۱۸۱۴ (در طول جنگ ۱۸۱۲) توسط ارتش بریتانیا صدمه فراوان دید و محتویات آن به تاراج رفت ولی مدت زمان کمی بعد از ویرانی اقدام به بازسازی آن شد، در اکتبر سال ۱۸۱۷ رئیس‌جمهور آمریکا جیمز مونرو در کاخ سفید که فقط قسمتی از آن بازسازی شده بود اقامت یافت. کاخ سفید در طول سالیان متمادی چندین بار بازسازی و گسترش یافته‌است.