Kirken ligger på et sted som i middelalderen har vært et lokalt maktsentrum for søndre Vestfold. Gården Huseby ligger nær ved. Man regner med at det er en sammenheng mellom denne gården og markedsplassen Kaupang.