Festningen er blitt beleiret hele 14 ganger, men aldri inntatt av fiendtlige styrker. På 1400-tallet ble den regnet for Norges sterkeste festning. Den hadde fire høye hjørnetårn og en sammenhengende, tre meter bred ringmur som lå tilpasset i terrenget i en høyde av 8 til 12 meter. Første gang borgen ble beleiret var i 1482. Den danske adelsmannen Jørgen Lauritssøn, som var høvedsmann på festningen, nektet å overgi borgen til Det norske riksrådet i forbindelse med valget av ny konge. Kristian II beleiret den i 1531, og svenskene forsøkte fem ganger i løpet av den nordiske sjuårskrigen (1563–70) å storme festningen. Lengst kom de i mars 1566, da Nils Boije og Nils Sture etter flere forsøk lyktes sammen med 250 soldater å innta et av hovedtårnene, «Fars hatt» som også fungerte som kruttkammer. Idet tårnet ble inntatt, sørget imidlertid den norske kommandanten for at tårnet, og dermed de svenske soldatene, ble sprengt i luften. Dette fikk han til gjennom å sende en frivillig til å fyre opp ammunisjonslageret under tårnet. Dermed ble det svenske angrepet drevet tilbake. Som belønning fikk den frivilliges familie et stykke land som fremdeles er i etterkommernes eie. I Norge kalles eksplosjonen for «svenskesmellen», i Sverige «».