Den fremste, synlige delen av trebygningen er oppført i empirestil av tollinspektør Johannes Nicolai von Kløcker, mens de eldre delene av bygget er fra 1600- og 1700-tallet. Huset ble i slekten i fire generasjoner, før det ble solgt til Stiftelsen Kløckers hus i 1982, som gjorde det om til museum. Bygningen ble fredet i 1984. Johannes Nicolai von Kløcker (født 9. desember 1788 i Fredrikshald, død 6. mars 1862 i Arendal) var av tysk-dansk adelsslekt og ridder av Dannebrogordenen. I 1824 ble han utnevnt til Kongelig Toldinspektør i Arendal. Den første tiden leide han husvære i nabohuset, og kjøpte så eiendommen til daværende postmester Christian Pettersen for å bygge seg en standsmessig bolig.