Bygningen er oppført for «Arendals skoles offentlige Bibliothek og Museum» som byens museum og bibliotek, i to etasjer på Tyholmen og tatt i bruk 1840. Institusjonen ble opprettet 1832 og holdt de første årene til i skolebygningen som da lå ved Friergangen. Kitty Kallevig ga tomt til ny museumsbygning på Kjeglebanen på toppen av Tyholmen, og den nye bygningen fikk navn etter en av museet stiftere, eidsvollsmann og lege Alexander Møller. I denne bygningen holdt museet og biblioteket til fram til 1882.