I 1845 ble Pitcairn rammet av en orkan som førte til at deler av øya raste i havet, mange av frukttrærne ble revet over ende, og mye av den fruktbare jorda rant vekk. Dette skapte alvorlige tilstander på øya. Enda greide befolkningen å holde stand, men en sterk befolkningsøkning førte til stadig trangere kår, og i 1850-årene var det direkte hungersnød. Stadige bønner om hjelp førte til at de britiske myndigheter donerte Norfolk Island til øyboerne. I 1856 ble hele befolkningen på 193 fraktet til Norfolk. Men halvannet år etter dro sytten av dem tilbake til Pitcairn, etterfulgt av tjuesju andre fem år senere. De hjemvendte fant øya overgrodd av matplanter, hvileperioden hadde gjort øya fruktbar igjen.