Også historia til «Borrekorset» er usikker. Korset, som er for stort til å ha vært et prosesjonskors, har malingsrester som sannsynliggjør at det opprinnelig har vært et triumfkors i «triumfbuen» mellom skipet og koret i kirkerommet. Det kan også ha hatt et eget alter i kirken eller vært et utekors. Noen har dessuten foreslått at «Borrekorset» kan ha stått i en egen kirke som i dag er ukjent, men som hadde et liknende navn, altså i en fjerde kirkebygning i Borre i tillegg til de eldgamle Borre kirke, Løvøy kapell og Nykirke kirke. Gamle stedsnavn sammen med blant annet et dokument fra 1350 der en sogneprest i Tønsberg testamenterer en gave til korset, kan tyde på at «Krossen» viser til en egen kirke. For øvrig valfarta Kalmarunionens dronning Margrethe (1353–1412) til «thet hælge kors i Borræ» i 1405. Korset skal ikke ha blitt nevnt etter omkring år 1600.