Tunsberghus var sete for Tønsberg len inntil festningen ble inntatt av svenske soldater og brent ned til grunnen i 1503. Byen fortsatte likevel å være lensete for Tønsberg len, som på begynnelsen av 1600-tallet ble oppgradert til slotts- eller hovedlen. Mesteparten av Tønsberg ble jevnet med jorden under den store bybrannen i 1536, og byen lå nede i over hundre år.