W 1880 Thomas M. Carnegie, brat amerykańskiego przemysłowca Andrew Carnegie, oraz jego żona Lucy kupili teren na Cumberland Island, aby mieć posiadłość do spędzania zim. Zbudowali oni szereg budynków, z których najbardziej okazały był Dungeness, będący 59-pokojowym budynkiem o architekturze szkockiego zamku. Ponadto zbudowali 40 innych budynków dla 200 osobowej służby, basen i pole golfowe. Rodzina Carnegie mieszkała na wyspie do zakończenia wielkiego kryzysu (1933 rok), jaki miał miejsce po wielkiego krachu na Wall Street w 1929 roku. Do rodziny Carnegiech należało wtedy 90% powierzchni wyspy. Nieliczni potomkowie rodziny żyją na wyspie do dnia dzisiejszego. Jeden z budynków zbudowany przez Lucy Carnegie, nazywany Plum Orchard został w 1971 roku przekazany do fundacji parków narodowych USA (National Park Foundation) na poczet zakładanego "Narodowego terenu nadbrzeżnego Cumberland Island". Budynek "Plum Orchard", podobnie jak "Stafford Plantation" także znajduje się na liście National Register of Historic Places.