Det tok fire forsøk før Shackleton var i stand til å vende tilbake til Elefantøya for å berge de skipbrudne der. Han seilte fra Sør-Georgia kun tre dager etter ankomst Strømnes etter å ha fått tilgang til den store hvalbåten «Southern Sky» som var lagt opp i Husvik. Shackleton satte sammen en frivillig besetning som fikk klargjort fartøyet til 22. mai. Da de nærmet seg Elefantøya fikk de i syne en ugjennomtrengelig barriere av pakkis, om lag 120 kilometer fra øya. «Southern Sky» var ikke bygget for å gå i is og trakk seg tilbake til Port Stanley på Falklandsøyene.