Navnet kommer av ordet som er et ganske lite innelukket sjøområde. Opprinnelig var det to poller i Arendal. I byens tidlige historie—før de store bybrannene og den gang Arendal hadde flere kanaler—var det som i dag er byens torv et lite havnebasseng som gikk under navnet . Det som i dag er Pollen het den gang .