I februar og mars var isdriften svært langsom. Shackleton beregnet i slutten av mai at fartøyet hadde forflyttet seg skarve 150 kilometer siden 19. januar. Driften økte i hastighet da vinteren satte inn og dessuten endret isens karakter seg. Den 14. april noterte Shackleton at den nærliggende pakkisen ble skjøvet sammen og at presset i de store ismassene økte. Dersom fartøyet ble fanget i disse urolighetene «ville hun bli knust som et eggeskall». Da mørketiden kom i mai lå skipet i posisjon 75°23'S, 42°14'V og drev hovedsakelig nordlig retning. Det ville da gå minst fire måneder til våren kunne bryte isen opp igjen. Det var dessuten langt fra sikkert at «Endurance» ville komme løs i tide til å gjennomføre et nytt fremstøt mot Vahselbukta. Shackleton vurderte nå muligheten for å finne et alternativt ilandstigningssted på vestkysten av Weddellhavet, dersom de var i stand til å nå den kysten. «I mellomtiden», skrev han, «må vi vente».