Dokumenter viser at det har vært en korskirke på Veøya i tillegg til den som fremdeles eksisterer. Den er nevnt i skriftlig kilde fra 1343. Dette kan ha vært en kirke for kaupangen og herskapet på øya (trolig en liten stavkirke), mens peterskirken fungerte som fylkeskirke for hele prestegjeldet. P.A. Munch nevner også en Mariakirke på Veøy uten at det finnes sikre belegg for dette. Andre kilder antar at korskirken er den steinkirken som står på Veøya i dag. Antallet kirker på Veøya i middelalderen er usikkert. Kirken hadde trolig lektorium inntil moderniseringen på 1600-tallet. Dietrichson anslår byggeåret til før 1250, mens Johan Meyer skriver 1200. Kaupangen er trolig eldre enn steinkirken. Da baglerne seilte mot øya for å angrip birkebeinerne i året 1206 er det mulig at steinkirken var reist.