Omkring 1850 var Torvbryggen en trebrygge som var ca. 8 alen bred og omkrets 20 alen. I 1867 var den nye steinbryggen ferdig. Torvbryggen ble bygget som ”en T”. Det var trapper på begge sider av T-en, men ikke på ”hodet”. Torvbryggen var forsynt med to flaggstenger, to gasslykter og et lite rekkverk. Senere ble det tre flaggstenger – for byens flagg, unionsflagget og det norske flagget.