En 1853, Fitzroy fue designado como gobernador de la Tierra de Damien, Australia del sur y Victoria