Man har funnet en steinøks på øya hvilket vitner om at det har vært mennesker der siden minst 4 000 år tilbake. Skriftlige kilder gjør også gjeldende at øya siden lang tid tilbake skal ha vært norsk. Allerede i de norske kongesagaene fra høymiddelalderen nevnes øya Vinga som landets sørligste grensepunkt. Dette bekreftes av senere diplomer fra 1400-tallet. Peder Claussen Friis skriver derimot i sin Norgesbeskrivelse fra 1590-årene at landet begynner ved Daneholmen, og også denne øya har sin forankring som grensepunkt i eldre kongesagaer. Navnet Daneholmen henspiller på den tiden da Norge grenset direkte til Danmark, slik det var på 1000-tallet, da erkebiskop Adam av Bremen beskrev den norsk-danske grensen ved Gøtaelvens utløp. Den svenske vestkorridoren oppsto omkring 1250 på bekostning av dansk territorium, og siden dengang har Norges sørligste punkter grenset mot Sverige (Vigerust 2008).