I 1633 ble Larvik et tollsted, og tollboden lå sannsynligvis en kilometer oppe i Lågen ovenfor Yttersø. Det var en sterk vekst i tollinntektene for Larvik i perioden 1633–1671 som nok skyldes både en utvidelse av Fritsøbedriften, men også borgerskapets utvikling innen den økende handelen. Borgerskapet vokste sterkt som følge av trelasthandelen. De opererte som mellommenn mellom bøndene i innlandet og utenlandske kjøpmenn som kom til Larvik med sine skip for å kjøpe trelast. I tillegg drev borgerne med krambodhandel i Larvik, slik at bønder, håndverkere og andre borgere kunne få tak i de varene de trengte.