Shackleton avslo å ta med forsyninger for mer enn fire uker, vel vitende om at hvis de ikke nådde Sør-Georgia innen den tiden ville båten og mannskapet være tapt. «James Caird» ble sjøsatt 24. april 1916, og i de neste femten dagene seilte de gjennom farvannet i Sørishavet, prisgitt de stormfulle havene i konstant fare for kantring. Takket være Worsleys navigasjonsegenskaper, kom klippene på Sør-Georgia til syne 8. mai. Vind med orkan styrke gjorde det imidlertid umilig for gruppen å komme i land, og de ble tvunget til å ri stormen av ute på havet i konstant fare for å bli knust mot steinene. De fikk senere vite at den samme orkanen hadde senket et 500-tonns dampskip fra Buenos Aires som var på vei mot Sør-Georgia.