Foruten som gjestehus har mange påtroppende presidenter bebodd huset inntil de ble innsatt og kunne flytte over til Det hvite hus.