Ottawa-intiaanien tiedetään käyttäneen saarta kalastustukikohtana jo noin 2 000 vuotta sitten. Vuonna 1871 arkeologi Henry Gillman löysi hautakummuista taitavia käsityöesineitä. 1800-luvun alussa saaren intiaanien joukkoon alkoi asettua eurooppalaisperäisiä metsästäjiä ja kalastajia. Vuonna 1832 pappi Frederic Baraga viipyi intiaanien parissa lähetystyössä. Vuosisadan puolivälissä saarelle alkoi asettua yhä enemmän mormonitaustaisia strangiitteja, joiden johtaja James Strang julistautui uskontokunnan kuninkaaksi. Moniavioisuutta harjoittanut ihanneyhdyskunta alkoi rakoilla ja joutua riitoihin eriuskoisten kanssa. Vuonna 1856 Strang murhattiin ja yhdyskunta karkotettiin saarelta vain kahdeksan vuoden jälkeen. Seuraavaksi saarelle alkoi asettua irlantilaistaustaisia kalastajia ja muita Irlannin suurta nälänhätää paenneita siirtolaisia erityisesti Donegalin kreivikunnasta. Saaren eristyneisyys sai aikaan, että iiri oli vuosikymmeniä saaren pääkieli. 1880-luvun puolivälissä Beaver Islandista oli tullut Yhdysvaltojen tärkein ja yksi koko maailman suurimmista järvikalan tuotantopaikoista.