Allerede i 1522 nevnes Bjørnøy i «Norsk Regnskap for Jordebøker». I 1567 hadde gården 4 oppsittere. Så har det bodd folk der i over 400 år. Det er 2 plasser på øya som har bebyggelse. Den ene heter Bjørnøygård og den andre heter Gammelgård og ligger på øyas nordside. Som rorvær er øya av yngre dato. År 1900 ble det oppført hus for å kjøpe fisk og for å drive handel, samt noen rorbuer.