Borgen i Bergen ble oppført på den høyeste knausen på Holmen etter slaget ved Fimreite i 1184. Borgen var antakelig bygget med ringmurer i stein, mens mange bygninger innenfor murene høyst sannsynlig var bygget i tre. Borgen var sterk, men underbemannet, og i 1207 inntok baglerne den og rev den ned. Den ble gjenoppbygget i første del av Håkon Håkonssons regjeringstid etter den store bybrannen i 1248. I 1477 klaget bymennene over at hanseatene rev ned borgmurene.