I 1941 fikk biblioteket eget bygning i Nygata, hvor det holdt til helt fram til 1998. Da flyttet biblioteket til gassverktomta ved Arendal torv, ved siden av tunnelen ut av sentrum. Byggingen startet 1995 etter en lang lokaliseringsdebatt. Arendal hadde lenge hatt sterkt behov for nytt bibliotek, da det blant annet var plaget av for liten plass, vannlekkasjer i taket, og mangel på handikapptilpasning. Kommunesammenslåingen i 1992 førte til at saken igjen kom på dagsordenen. Det nye biblioteket ble innviet 7. mai 1998, da Arendal by feiret 275-årsjubileum. Bygningen er tegnet av arkitekt Einar Myraker i Arendal.