Bygningen var opprinnelig bygd som bolig, og fungerte på 1700-tallet som prestebolig. I 1850 kjøpte staten bygningen for å bruke den som tollbod. Senere ble bygningen brukt til teaterlokale, mineralvannfabrikk, trikotasjefabrikk (1904) og lager for Felleskjøpet (1932–1958). Fra 1962 har bygningen huset Larvik Sjøfartsmuseum.