Sannsynligvis var det eieren av Hov, som var Hurums største gård i middelalderen, som tok initiativ til å bygge ei steinkirke på gården. Å bygge i stein var dyrt, og et uttrykk for makt og velstand. Kirkens størrelse gjør det imidlertid rimelig å anta at den er tenkt som ei sognekirke helt fra begynnelsen av, og ikke som et privatkapell. Bøndene i området har nok derfor også bidratt til bygginga. Gården Hovs betydning skyldes sannsynligvis den strategiske beliggenheten ved Svelvikstrømmen, med mulighet for å kontrollere ferdselen mellom Oslofjorden og Drammensfjorden.