Havna var sentrum for det meste som foregikk i sjøfartsbyen Tønsberg, den gang da sjøen var viktigste transportvei. Det var til Tønsberg havn de kom rutebåtene fra Nøtterøy og Tjøme, og fra hovedstaden. Mot havna lå det i 1840-åra 29 sjøboder, noen få er bevart til i dag. Sjøbodkvartalene mellom kaiene og Nedre Langgate utgjør et kulturmiljø som rommer mange historiske bygninger, blant annet Foynegården, som er den eldste eksisterende typiske kjøpmannsgård fra byen Tønsberg.