Bruken av navnet «Klokkarstua» som navn på det lille tettstedet rundt kirken er forholdsvis ny. Navnebruken oppstod da postverket bestemte å gi postnummer 3490 dette navnet i 1944. Fra opprettelsen i 1847 ble postnummeret kalt «Hurum». Mellom 1894 og 1944 ble postnummeret kalt «Åsheim», oppkalt etter navnet på eiendommen (gnr./bnr. 9/47) der poståpner og skolelærer Olaus Stokker bodde.