Der Langbryggen ligger var det kun en smal og vanskelig fremkommelig strandsti tidligere, som gikk fra den indre poll (idag Arendal torv). For å komme til Friholmen og Tolbodholmen måtte man bruke båt. Grunnet krav om bedre ferdsel ble det bygget en trebro som fikk navnet Madam Samuelsen bro. Etter hvert ble det bygget hus utover langs strandsiden, med tilhørende brygger. Bryggene ble bygget så tett at det så ut som en lang sammenhengende brygge, og dermed kom navnet Langbryggen. Bybrannen i 1868 la hele bebyggelsen langs Pollen i aske, og husene ble etter dette gjenreist i mur, og en stenkai ble anlagt på strekningen, med vei imellom bygningene og kaien.