Veøya nevnes av Snorre i forbindelse med slaget ved Sekken, der kong Håkon Herdebrei i 1162 falt mot Erling Skakke. Kaupangen hadde på det meste rundt 300 innbyggere, men tapte sin betydning mot slutten av middelalderen.