På eiendommen ble det første gang bygget i 1712, og det var den gang byens staseligste bygg; «Riedemanns palé». Skipsreder og kjøpmann Morten Michael Kallevig kjøpte bygget av dødsboet til Joachim Ebbels i 1812 , og rev det for å bygge et nytt, enda staseligere bygg som han skulle ha som privat bolig. Bygget ble tegnet av den kongelige danske byggeinspektøren og arkitekten Peder Krogh Bonsach Jessen i København, og han tegnet tre utkast før Kallevig ble fornøyd. Bygget ble således det første i Arendal som var designet av en arkitekt. Det var tegnet i empirestil og tenkt bygget i murstein, mens Kallevig oppførte det i tre. Det ble bygget i 1812–1813, og innviet i 1815.