Undersøkelser av tømmeret har vist at noen bjelkelagsstokker ble felt vinteren 1667–1668. I 1664–1665 skal Ida Lange ha avgitt en bekvem plass til bygging av tollbod i en bukt av Larviksfjorden. Tollregnskapene fra 1670/1671 forteller at tollboden ble så kostbar at staten overlot eiendomsretten til tolleren mot delfinansiering. Den gang tilhørte tolleren byens øvre sosiale skikt, og drev gjerne egen handel. Rundt 1670 var tidene gode for handel og fortjeneste. I de påfølgende tiårene ble det trangere kår, og tollernes status ble omdefinert gjennom enevoldsmaktens reformer. Sammenblandingen av privat kjøpmannskap og statlige embeter vek langsomt plassen for en mer moderne oppfatning av embetsverkets uavhengighet.