Det var på Tunsberghus at den siste norske konge før unionstiden, Håkon V, døde i 1319. Borgen var residenssete for Tønsberg len til 1503, da den ble brent ned etter å ha blitt inntatt av svenske soldater og opprørske bønder fra Vestfold-området. Den ble aldri forsøkt bygd opp igjen. Man har heller ingen sikre opplysninger om hvordan den nøyaktig så ut.