Sjøtollstedets historie går tilbake til 1600-tallet da det var en tollbod på Nordre brygge som lå i forlengelsen av Tollbugata. I 1695 fikk man reist en ny tollbod, en tømmerbygning. Den lå rett nord for Nordre brygge. I 1770-årene ble den revet. Kort tid etter tegnet murmester Johan Hesler en ny tollbod i bindingsverk og to etasjer, men denne brant ned til grunnen i 1785. Allerede to-tre år etter kom en ny tollbod på plass etter tegninger av Hans Christian Lind. Den ble revet i 1895 til fordel for oppføringen av Schirmers tollbod.