Øya har god dyrkingsjord og det er gjort funn fra yngre steinalder, det har trolig vært fast bosetning der siden tidlig jernalder. Det er funnet flere gravanlegg fra jernalderen, og også en fallos-stein som dateres til samme periode. I middelalderen var øya et stormannssete, flere riddere med sete på Byre er kjent fra denne perioden.