Sir George Edward Grey, der Neuseeland zweimal als Generalgouverneur und ein weiteres Mal als Premierminister regierte, kaufte Rakino im Jahre 1862. Er ließ Bäume pflanzen und begann ein Haus in der Home Bay zu bauen, verlor aber das Interesse daran, als Kawau Island für ihn verfügbar wurde. In den 1860er Jahren wurden Gefangene der Neuseelandkriege auf die Insel gebracht. Einige wurden auf Hulks im Hafen untergebracht. Eine kleine Gruppe wurde mit einem Haus und Gartengeräten auf der Insel angesiedelt. Dieses Experiment erwies sich als Fehlschlag und wurde schnell aufgegeben.