Den nåværende herregård ble bygd etter 1947 av Sarah Diodati Gardiner som stammet fra Lion Gardiner den Første. Den tidligere herregården ble bygget av David Gardiner i 1774 og brant til grunnen i 1947. Det ble antatt at en gjest hadde sovnet mens han røkte. Verdifulle antikviteter ble ødelagt i denne brannen, mens vaktmesteren reddet sitt eget liv ved å hoppe fra et vindu. Sarah Gardiner bygde en ny 28-roms herregård i georgiansk stil. Hun døde i 1953, fortsatt ugift, i en alder av nitti. Fra 1955 til 1963 leide Sperry Rand øya for topp-gruppe møter. Sarah Gardiner var mangemillionær og etterlot øya til sin nevø, Robert David Lion Gardiner og hans søster, Alexandra Gardiner Creel. De tok besittelse av øya da ved utløpet Sperry Rands leieforhold utløp i 1963.