Det har sannsynligvis vært forsvarsmessige aktiviteter eksistert før 1100-tallet. I borgerkrigstiden på 1100-tallet forskanset Baglerne seg på Berget da det ble beleiret av Kong Sverre og Birkebeinerne. Tunsberghus gjennomgikk siden en storstilt utbygning I Håkon Håkonssons og Magnus Lagabøtes regjeringstid på 1200-tallet. Borgen fikk en ytre og indre ringmur, borghaller og bolig til kongen, samt en egen kirke, Mikaelskirken.