Kommuneadministrasjonen holdt først til i bygden Hedrum fra kommunens opprettelse i 1838 og frem til 1952. I 1952 ervervet kommunen bygget Nedre Nanset, og benyttet dette som herredshus frem til 1978. I 1978 ble et nytt rådhus ferdigstilt i Fresjeveien 12 på Nanset, og var kommunens siste rådhus frem til sammenslåingen i 1988.