Bygningen var med sine fire etasjer og valmtak landets høyeste trehus og nest største trebygning, bare Stiftsgården i Trondheim var større. Fru Kitty Kallevig var datter av en av Arendals og skal ha ønsket seg et hus som var så høyt at hun kunne se helt til hjemlandet. Bygningen er oppført i stående plank som nødsarbeid under Napoleonskrigene. Første etasje ble benyttet til kjøpmannsvirksomhet, annen etasje var privat bolig, og tredje etasje selskapslokaler. Huset ble innredet med møbler i empirestil, og mye ble kjøpt i Frankrike og ført til Arendal på firmaets egne skuter. Et utvalg av disse møblene tilhører i dag Aust-Agder kulturhistoriske senter; likeså bærestolen som fru Kallevig lot seg bære rundt i. Norges første vannklosett ble angivelig også etablert på Kalleviggården i forbindelse med en bekk som rant ned bak bygget. Det gikk rykter om at det var denne bekken som inspirerte Conrad Schwach til den uoffisielle nasjonalsangen , mens han som sorenskriver i Arendal i 1820-årene var husets gjest.