Forvarselet til slutten på Patience Camp kom om kvelden 8. april, ved at isflaket plutselig delte seg. Leiren befant seg nå på en liten trekantet flåte av is. Ytterligere oppbrytning av flaket ville bety katastrofe, så Shackleton beordret livbåtene klargjort for en snarlig avreise. Han hadde nå bestemt seg for at de skulle forsøke å nå den fjerntliggende Deceptionøya. Der fantes det en kirke som var reist av hvalfangerne. Tømmeret i denne kunne kanskje benyttes til å lage et bedre sjøgående fartøy enn det livbåtene var. Klokka 13 den 9. april ble livbåten «Dudely Docker» sjøsatt og en time senere var alle båtene sjøsatt. Shackleton hadde kommandoen over «James Caird», Worsley over «Dudley Docker», mens navigasjonsoffiseren Hubert Hudson ble utpekt til sjef på «Stancomb Wills». I praksis hadde imidlertid Tom Crean kommandoen over «Stancomb Wills» på grunn av Hudsons ustabile mentale tilstand.