Da skipene først ankom Botany Bay, levde ikke området opp til forventningene. Bukta var åpen og ubeskyttet og vannet var for grunt til at skipene kunne seile innover mot land. Ferskvann var det mangel på, og jorda var dårlig. Hyttene som ble bygd for offiserne kollapset som følge av regnstorm. Sammen med frykten for å bli angrepet av andre, ble det bestemt av kapteinen Arthur Phillip om å flytte kolonien til et annet sted.