Det gamle kirkestedet kalles i dag Hvalshaugen og omfatter også en flere gravhauger fra jernalderen. Stavkirken på Hval må ha vært anneks under Norderhov kirke, som på den tiden var sognekirke for befolkningen Ytre Ådal. I tiden uten egen kirke må folk i der derfor ha reist den lange veien sør til Norderhov for å gå i kirken. Av prestens manntall for 1664 kan man se at det kun var 47 eller 48 gårdsbruk i hele Ådal, hvorav 72 voksne menn nevnes. Selv om manntallet ikke var nøyaktig, var befolkningen altså svært sparsom i dalen på denne tiden. Man må derfor gå ut ifra at det ikke var befolkningsgrunnlag stort nok til å ha ei egen kirke i Ytre Ådal, siden de fleste gårdene på den tiden nok lå på motsatt side av Ådalselva. Fra Bergsund og nordover var dessuten Viker kirke sognekirke i dalen. Avfolkningen skyldes trolig svartedauden i 1349–1350. Det er imidlertid usikkert om stavkirken på Hval ble stående tom etter denne hendelsen eller om det var omveltningene under reformasjonen i 1536 som førte til at den endelig ble forlatt. Utover på siste halvdel av 1700-tallet og første halvdel av 1800-tallet voks imidlertid befolkningen i Ytre Ådal. Dette førte etter hvert til planer om å føre opp ei ny kirke i bygda.