Bomuldsfabriken Kunsthall holder til i en gammel industribygning som ligger nær ved Torbjørnsbu gruver. Bygningen rommet opprinnelig et bomullsveveri fra slutten av 1800-tallet. I 1990 sto lokalene ledige og det lokalhistoriske miljøet i Arendal lette etter et formål bygningen kunne anvendes til. I 1992 kjøpte Arendal kommune bygningen. I 1994 ble bygningen rehabilitert for å brukes som kunstgalleri.