Aunque algunas familias decidieron volver a Pitcairn en 1858 y 1863, la población de la isla siguió creciendo lentamente a medida que la isla aceptaba colonos, que a menudo llegaban en flotas balleneras.