Elefantøya er kjent for å være tilfluktssted for Ernest Shackleton og hans mannskap på 28 som i 1916 mistet sitt skip «Endurance» i Weddellhavets ismasser. De innså at de ikke kom til å bli reddet av et forbipasserende skip, så Shackleton besluttet å sette kursen mot Sør-Georgia i en liten redningsbåt for å berge det øvrige mannskapet. Sør-Georgia hadde på den tiden flere landbaserte hvalfangststasjoner. Shackleton og fem andre seilte avgårde andre påskedag (24. april) 1916 i den åpne redningsbåten «James Caird» på en ferd som var 1290 km lang. Etter to uker kom de frem til Sør-Georgia. Den 30. august 1916 returnerte Shackleton til øya og kunne konstatere at samtlige av mannskapet hadde overlevd ventetiden.