Det ble gjort flere forsøk med bosetting på Nordfugløya utover 1700-tallet, men det ble oppgitt på grunn av de helt ekstremt vanskelige landingsforholdene. Havsjø kunne gjøre det umulig å komme til og fra øya i dagevis og i uværsperioder kunne det gå ukevis før noen kunne komme i land. Det fantes ingen naturlige havner på øya, noe som gjorde at de rike ressursene kun ble utnyttet sesongvis. Men på 1830-tallet flyttet noen samiske familier ut til øya, og de greide å bosette seg her til tross for de vanskelige forholdene. De utnyttet øyas ressurser, drev med sanking og fangst av fugl og fisk. Men det sies at det sjelden gikk et år uten at det omkom folk i fuglefjellet. I 1891 bodde det 5 familier på øya, med 15 storfe og 142 småfe, og i 1910 var det 66 innbyggere her. Det har bodd rundt 10 familier her på det meste, i tillegg til tilreisende fiskere i sesongene. Folk fra øyene rundt kom også til øya for sanking av egg om våren og multer om høsten. I tillegg til utnyttelsen av naturressursene, ble det drevet jordbruk på øya. Dette var viktig spesielt i de periodene øya på grunn av havsjøen var isolert fra omverdenen.