Før Havneringen var det en stor kai utenfor – kalt Storekaien. På grunn av vanndybden kunne ikke større skip gå helt inn i Vågen, så her var der dampskipene la til. Kaibyggingen inn mot Torget ble ikke påbegynt før omkring år 1900. Tollboden ble bygget i 1906, på en fylling ut i sjøen.