Kallevig eide en rekke eiendommer både på Tyholmen i Arendal og på Hisøy. I 1805 kjøpte de Reidemanns pale på Tyholmens ytterside. Denne bygningen som hadde vært byens flotteste hundre år tidligere, ble revet, og tomta ble brukt til å bygge den bygningen som i dag omtales både som Kallevigs pale og Arendal gamle rådhus. Dette storslagne byggeprosjektet tilskrives Kallevigs hustru som skulle være både praktelskende og forfengelig. Det ble ikke spart på noe. Arkitekten ble hentet fra København og var kongelig bygningsinspektør.