Omkring 1900 ble det åpnet kommunale kontorer der. Kunstmaleren Karl Johan Holter fungerte dermed som poståpner, kemner og ligningsfunksjonær. Fra 1908 til 1927 var det offentlig bibliotek i huset, med en liten boksamling som Holter bestyrte. Han var også ansvarlig for den lokale trygdekassen og for kassen til Hølen Elektricitetsværk. Fra 1912 til 1975 var det også telefonsentral i Holterhuset; den ble nedlagt som følge av automatiseringen.