Da kirken ble oppført på 1100-tallet, lå den like ved Konghelle, som var en av Norges største byer på denne tiden. I Borgartingsloven, loven som gjaldt for Viken, fortelles det at det var seks fylkeskirker i Viken, og at en av dem lå i Konghelle. Ytterby kirke kan ha vært denne kirken.