Allerede på 1800-tallet sto Batteriet sentralt i arendalborgernes bevissthet. Stedet var et yndet oppholdssted; her samlet byens skipsredere seg for å diskutere om frakter, vind og vær, og se på kommende og avgående fartøyer, hit sendte mødrene sine barn til en felles lekeplass, og da dampskipene kom var det her en samlet seg for å se etter røyken når et dampskip nærmet seg. I turistbrosjyrer for besøkende i Arendal fra begynnelsen av 1900-tallet fremheves Batteriet som ett av byens attraksjoner.