Båtene var omgitt av is og var avhengige av å følge råker som åpnet seg opp. Framdriften var langsom og tilfeldig og slett ikke ufarlig. Stadig fortøyde de båtene til isflak eller trakk dem opp på flakene, mens mennene slo leir og ventet på bedre forhold. Shackleton var igjen i tvil om hvilken vei de skulle forsøke å seile. Den 12. april forkastet han sine planer om å forsøke å seile til Sør-Shetlandsøyene og bestemte seg heller for å forsøke å nå Hope Bay lengst nord på Den antarktiske halvøy. Imidlertid var forholdene i båtene – med temperaturer helt ned mot –30 °C, lite mat og iskald sjøsprøyt – i ferd med å bryte ned mannskapet både fysisk og psykisk. Shackleton ombestemte seg derfor atter en gang og innså at Elefantøya var den eneste praktiske muligheten de hadde til å nå land.