Barrieren (senere kjent som Rossbarrieren) ble observert den 23. januar, men innløpet hadde forsvunnet. Kanten av barrieren hadde endret seg betydelig de siste årene, og den delen hvor innløpet var hadde brutt seg løs slik at det var blitt dannet en stor bukt. Shackleton ga denne navnet Hvalbukta på grunn av det store antallet hvaler som ble sett der. Shackleton var ikke forberedt på å risikere en overvintring på en barriereoverflate som kanskje kunne kalve ut i sjøen, så han satt kursen mot King Edward VII Land. Etter gjentatte forsøk på å nærme seg kysten av King Edward VII Land, og med raskt bevegende is som truet med å stenge skipet inne, var «Nimrod» tvunget til retrett. Shackletons eneste valg nå, annet enn å gi opp ekspedisjonens mål, var å bryte løftet han hadde gitt Scott. Den 25. januar ga han ordre til at skipet skulle sette kursen mot McMurdo-sundet.