Det er bare havnebassenget som skiller Kolbjørnsvik fra Tyholmen i Arendal by, så fra gammelt av har det vært tette bånd mellom stedene, selv om de var også i en periode separate kommuner. Det var kjøpmannsgårder i Kolbjørnsvik som tilhørte byen, og de betalte skatt der.