Den nåværende tollkammerbygningen er en senbarokksbygning i pusset bruddsteinsmur i to etasjer, høyt valmtak og dominerende midtgavl mot Vågen. Murbygningen ble oppført 1759–1761 etter at den eldre tollboden i 1756 gikk tapt i bybrannen som nesten ødela hele Strandsiden fra Torget og utover til Nordnes. Reguleringsplanen etter brannen førte også til at Tollbodallmenningen ble anlagt. Tollbodens mål var 62 alen lang og 25 alen bred, ca. 40 x 15 meter.