Huset er i tre etasjer og har høyreist valmtak. Første etasje rommer blant annet en gammel krambod hvor det selges lokallitteratur, et par mindre utstillinger, og kontor for daglig leder. Andre etasje inneholder fullt møblerte rom med gjenstander helt tilbake fra 1700-tallet. Tredje etasje inneholder storsalen, som i dag blir brukt til foreningsmøter og lignende, to rom innredet som hjemmet til en matrosfamilie, og verdens største utstilling av flaskeskuter. En landauer, som er brukt ved mange kongebesøk i Arendal, har fått plass i stallen. Den ble bygget i København rundt 1870.