Au lieu de se diriger vers les Marquises (terre émergée la plus proche du lieu du naufrage) ou les îles de la Société, considérées comme peu sûres en raison du risque de cannibalisme, ils décident de voguer vers le sud pour attraper les conditions plus favorables les ramenant sur l'Amérique du Sud. Sans s'attacher pour ne pas réduire leur vitesse, les trois baleinières arrivent difficilement à naviguer de conserve. À force de rationnement, les naufragés souffrent cruellement de soif. Alternativement ballottées par les tempêtes et immobilisées par manque de vent, les trois barques arrivent en vue de l'île Henderson, que Pollard prend faussement pour l'île Ducie. Les naufragés ont dérivé beaucoup plus à l'ouest que prévu, et qu'ils ne le croient. L'île est inhabitée depuis la fin du (s’ils avaient atterri sur l’île Pitcairn, 190 kilomètres au sud-ouest, ils auraient peut-être reçu l’aide des descendants des mutins du "Bounty", et de leur dernier représentant John Adams, qui habitaient l’île depuis 1790). Ils y séjournent du 20 au 27 décembre pour reprendre leurs forces. Mais, les faibles ressources de l'île (oiseaux endémiques, crabes de cocotier, œufs et lepidium, ainsi qu'une petite source d'eau douce), sont rapidement épuisées et ne permettent pas de survivre longtemps. Trois des marins, les seuls caucasiens non-natifs de Nantucket (l'Anglais Thomas Chappel, Seth Weeks et William Wright), décident toutefois de rester sur terre et de tenter leur chance sur l'île.