Huset er mest sannsynlig bygget i 1710, og var bygget på et fundament av bolverk i tre i strandkanten i fronten, og på fjell i bakkant. Man antar at deler av huset kan være fra 1658, og det ble bygget av Anders Søfrensen (1634-1667). Huset var først i privat eie og ble brukt til forretningsformål og bolig. Det er bygget i barokkstil, og fikk inngangsportalen rundt 1800, og nye vinduer rundt 1860-1880. Det hørte flere uthus, sjøboder og pakkboder til huset. Neste eier var Laurits Pedersen Brinch som hadde det i flere generasjoner i slekten, inntil Isaac Leth (1757–1831), handelsmann, visekonsul og stadshauptmann i Arendal, kjøpte det. Det ble så solgt i 1877 til Arendal kommune, og da flyttet Arendal politikammer inn og var der frem til 1941. Grunnen til at kommunen kjøpte det var at det skulle rives og byens nye skole skulle bygges på Kanalplassen, og dette huset sto i veien. Men på grunn av dårlig grunn så ble planene endret og skolen bygget på Øvre Tyholmen istedet.