Til midt på 1800-tallet gikk sjøen helt inn hvor tovet er idag. Stedet hadde dengang navnet «Pollen», mens det som heter Pollen i dag, het den gang «Ytre Poll». Det gikk en kanal inn der det som i dag er Havnegaten, og en fra Kittelsbukt der hvor Strandgaten er idag. Gjenfyllingen begynte etter bybrannen i 1863. Gatehandlerne holdt seg i Kirkegaten og rundt «Det gamle politikammeret», men flyttet så inn på det nye torvet. Det var frem til første halvdel av 1900-tallet midtpunktet i handelsbyen Arendal.