Eldste dokumenterte bosetning er fra 1657. Rundt 1840 bygde grev Peder Anker Wedel Jarlsberg Grevestuen, ei av Norges eldste jakthytter. Øya ble ekspropriert av Forsvaret i 1916. Alle sivile måtte flytte. Under den militære perioden ble øya brukt som øvingsområde, blant annet med skytebane.