Det er noe usikkert når de første bosatte seg på Hallarøya, men sannsynligvis bodde folk her allerede i mellomalderen. En finner skrevne bevis for at det i alle fall bodde folk her i 1637. Her var det fiskeri som var hovedaktiviteten hvor forskjellige væreiere har regjert og hvor det ble leid ut losjihus til fiskere som hovedsakelig kom tilreisende ifra distriktet i sesongene slik som Skålvikfjord, Halsa, Tustna osv.