Tønsberg var lenge en by med et svært begrenset areal. Bybebyggelsen gikk allerede på 1800-tallet ut over bygrensene, inn i kommunene Færder (tidligere Nøtterøy) og Sem. Byutvidelsen i 1877 ga Tønsberg en stripe av Nøtterøy med viktige maritime industriarealer. I 1988 ble kommunene Tønsberg og Sem slått sammen. 1. januar 2020 slo Tønsberg og Re kommune seg sammen til nye Tønsberg kommune og er etter sammenslåingen den eneste kommunen i Vestfold som grenser til alle de andre Vestfold-kommunene.