Omkring 1850 var Torvbryggen en trebrygge som var ca. 8 alen bred og omkrets 20 alen. I 1867 var den nye steinbryggen ferdig. Torvbryggen ble bygget i T-form. Det var trapper på begge sider av «T-en», men ikke på «tverrstreken øverst». Torvbryggen var forsynt med to flaggstenger, to gasslykter og et lite rekkverk. Senere ble det tre flaggstenger – for byens flagg, unionsflagget og det norske flagget.