Castrum Tunsbergis'') på toppen av åsen har sannsynligvis dominert byen og jordbruksområdene rundt også før 1100-tallet da baglerne forskanset seg der under beleiringen av Kong Sverre og Birkebeinerne. Tunsberghus gjennomgikk en storstilt utbygging i Håkon Håkonssons og Magnus Lagabøtes regjeringstid på 1200-tallet. Festningen var residenssete for Tønsberg len til 1503, da den ble brent ned og ikke bygd opp igjen. I dag er det bare lave ruiner igjen av anlegget på Slottsfjellet.