Europeisk bosetning begynte med en flokk straffanger, bevoktet av annenrangssoldater. En av tre straffanger var irer. En femtedel av irene ble transportert bort i forbindelse med politiske opprør og forstyrrelser knyttet til eiendom av land som var vanlige i Irland på den tiden. Mens nybyggerne var nokså godt utrustet, hadde en ikke tenkt noe særlig på å sørge for at det var evner til stede til å gjøre kolonien selvforsynt. Få av straffangene hadde erfaring med jordbruk eller handel (i likhet med soldatene, for øvrig). Den manglende forståelsen for Australias årstidsmønster gjorde at de første forsøkene på landbruk slo feil. De var derfor avhengig av hva soldatene kunne skyte av dyr og fugler for å få seg mat. Kolonien sultet nesten, og Phillip var tvunget til å sende et skip til Batavia etter forsyninger. Noe unnsetning kom med den andre flåten i 1790, men livet var ekstremt hardt i koloniens første få år.