Fartøyet ble imidlertid skrudd ned av isen. Deler av ekspedisjonen klarte gjennom en seilas på 1 300 km, i en liten båt på 22 fot, fra Elefantøya å nå Sør-Georgia. En stor fjellkjede deler øya og hvalfangststasjonene lå på nordkysten. Høye bølger og undervannsrev gjorde at de ikke kunne gå til land og det var for risikabelt å prøve å runde øya. Om natten blåste det opp til storm og orkan neste morgen med ti meter høye bølger. Nok en natt ble tilbrakt i livbåten. Ut på ettermiddagen neste dag, 10. mai 1916 kl 17.00 gikk de i land i King Haakon Bay etter å ha vært på en 17-dagers lang seilas fra Elefantøya. Åtte dager etter ilandstigningen startet Ernest Shackleton, Tom Crean og Frank Worsley kryssingen av øya, noe ingen hadde gjort før dem. De tre andre ble igjen på stranda. I mangel av ryggsekk ble proviant og utstyr puttet i lommene. Isbrodder ble laget ved å skru skruene fra livbåten inn i støvlene. Etter å gått i et døgn satte de seg ned for å hvile, og de hadde utsikt over Fortuna Bay. De visste ikke hvor de var, men mente å dra kjensel på noen av fjellene lengre øst etter besøket på øya i november 1914. De hørte en svak revelje i det fjerne og konstaterte at den tilhørte en hvalfangststasjon. Noen timer og et fjellpass senere så de ned på den norske hvalfangststasjonen Strømnes. Fjellturen tok 36 timer i det som i ettertid viste seg å være den eneste finværsperioden på flere uker. I Strømnes kom de i kontakt med stasjonsbestyreren og en båt ble umiddelbart sendt rundt øya for å hente de tre som hadde blitt igjen. Tre dager senere seilte Shackleton av gårde for å hente mannskapet på Elefantøya.