Grey kjøpte Kawau Island i 1862 da han kom tilbake til New Zealand for sin andre periode. I 25 år brukte han store mengder av sin personlige formue på å utvikle øya. Han forstørret og omformet herregården, den tidligere boligen til overoppsynsmannen for kobbergruven. Her plantet han mange forskjellige eksotiske trær og busker, akklimatiserte mange fugler og dyrearter og samlet en anerkjent samling av sjeldne bøker og manuskripter, kunstverk og kuriositeter samt bruksgjenstander fra maorifolket som han styrte over.