Norfolkinsaaren seuraava asutusvaihe alkoi 8. kesäkuuta 1856, jolloin sinne asutettiin Pitcairnin saarelta HMS Bountyn kapinallisten ja tahitilaisten jälkeläisiä Pitcairnin käytyä liian pieneksi kasvavalle väestölle. Norfolkinsaaresta tehtiin Uudesta Etelä-Walesista erillinen siirtokunta, jota kuitenkin hallinnoi Uuden Etelä-Walesin kuvernööri. Pitcairnilta saapui kaikkiaan 194 henkeä.