Fæstningen er blevet belejret hele 14 gange, men aldrig indtaget af fjendtlige styrker. I 1400-tallet blev den regnet for Norges stærkeste fæstning. Den havde fire høje hjørnetårne og en sammenhængende, tre meter bred ringmur, som lå tilpasset i terrænet i en højde af 8 til 12 meter. Første gang borgen blev belejret var i 1482. Den danske adelsmand Jørgen Lauritssøn, som var høvedsmand på fæstningen, nægtede at overgive borgen til det norske riksråd i forbindelse med valget af ny konge. Christian 2. belejrede den i 1531, og svenskerne forsøgte fem gange i løbet af Den Nordiske Syvårskrig (1563-70) at storme fæstningen. Det længste de kom, var i marts 1566, da det efter flere forsøg lykkedes Nils Boije og Nils Sture med 250 soldater at indtage et af hovedtårnene, som kaldes "fars hat". Det fungerede imidlertid som krudtkammer, og idet tårnet blev indtaget, blev tårn og soldater sprængt i luften.