Klokkarstua ligger på toppen av en sandig morenerygg, som går ut i Drammensfjorden ved Verket, og fortsetter østover på tvers av Hurumlandet. Denne moreneryggen har trolig vært bosatt gjennom hele forhistorisk tid. Det er funn fra både eldre og yngre steinalder i området. Utgravninger på jordet vest for Hurum kirke har avdekka bosetningsspor fra bronsealder og eldre jernalder. I yngre jernalder tyder navnet «Hov» på at det lå et hedensk kultsted på Klokkarstua, kanskje samme sted som Hurum kirke seinere ble bygd.