Veøya nevnes av Snorre i forbindelse med slaget ved Sekken i 1162, der kong Håkon Herdebrei falt mot Erling Skakke. Baglerne angrep birkebeinerne ved øya i 1206. I 1375 ble en kongens gård på Veøy nevnt, dette var trolig en handelsgård som samtidig var innsamlingssted for skatter og avgifter. Kaupangen hadde på det meste rundt 300 innbyggere, men tapte sin betydning mot slutten av middelalderen. Nedgangen for Veøy-kaupangen begynte trolig før svartedauden. Olav Håkonson befalte i 1384 at handelen måtte foregå i byer og faste kaupanger: Borgund for Sunnmøre, Veøy for Romsdal, Trondheim for Nordmøre. I dokumenter fra 1519 blir ikke Veøy lenger omtalt som kjøpstad. Kannikembetet ble oppretthold etter reformasjonen og presten på Veøya avla kannikeden i 1588. Kirkeordningen fra 1589 fastslo at det skulle være 9 kirker «Vedøens» prestegjeld, disse skulle betjenes av tre prester og Veøy skulle være hovedkirke.