I 1840 flyttet Arendals Museum inn i eget hus bygd til å romme samlingene. Kitty Kallevig ga tomt til ny museumsbygning på Kjeglebanen på toppen av Tyholmen, og den nye bygningen fikk navnet Doctor Alexander Møllers Minde etter en av museet stiftere, eidsvollsmann og lege Alexander Møller. I denne bygningen holdt museet og biblioteket til fram til 1882.