Navnet «Klokkarstua» var opprinnelig navnet på et hus rett nord for Hurum kirke, der klokkerne i kirken bodde på en liten husmannsplass under gården Hov. I en rettssak i 1686 ble det nevnt at klokkerne i Hurum hadde bodd på denne plassen i mer enn 30 år. Også før det er det kjent at det bodde klokkere på plassen, i hvert fall tilbake til 1640, da klokker Knut Jensen bodde her.