Det var fortsatt ikke noen tettbebyggelse i Klokkarstua-området på denne tida, bare noen få og spredte husmannsplasser. Etter at klokkerne i Hurum bosatte seg andre steder etter 1709, ble ei stue på Klokkarstua fra 1720-tallet av brukt som fast tingsted i Hurum. Etter hvert fikk stedet også funksjon som gjestgiveri og skysstasjon. Her kom også Hurums første poståpneri og telegrafstasjon. På 1930-tallet bygde Hurum pinsemenighet «Klippen» seg et bedehus sør for kirken. Denne menigheten har per 2019 35 tilskuddstellende medlemmer.