Shackleton dro av gårde med seks mann i den 22 fot lange livbåten «James Caird» 24. april 1916, mens 22 mann ble igjen på Elefantøya. Shackleton hadde valgt ut flere sjøfolk til å bli med på ferden til Sør-Georgia. Blant disse var Tim McCarthy og den erfarne offiseren og dekorerte oppdagelsesreisende Tom Crean, men også John Vincent og skipstømmermannen Harry McNeish. Det var McNeish som hadde vært bråkmaker og som Shackleton tydeligvis ikke ønsket å la være igjen med resten av gruppen på Elefantøya. McNeish satte umiddelbart i gang med å bygge om den åpne livbåten ved å forhøye sidene, forsterke kjølen og bygge et improvisert dekk av tre og seilduk som han impregnerte med oljemaling og selblod. Den utfordrende navigasjonsoppgaven betrodde han til Frank Worsley. Det var viktig å forsikre seg om at de fulgte rett kurs. De ville være så godt som fortapt dersom de ikke nådde målet sitt. Dårlige værforhold – stormfullt med tett skydekke og høye dønninger – gjorde oppgaven deres vanskelig, da observasjon av horisonten i forhold til sola eller månen var viktig. De var bare i stand til å foreta fire pålitelige observasjoner i løpet av den 1300 kilometer lange seilasen.