Kolonistene oppdaget fort mangelen på ferskvann og egnet tømmer. De sterke strømmene i innløpet av bukta umuliggjorde hvalfangst. Kolonien var også dårlig forsvart. Collins besluttet derfor i januar 1804 å flytte kolonien til Van Diemens land (dagens Tasmania).