Il castello fu edificato dal re Haakon V verso la fine del XIII secolo. La fortezza ha resistito a diversi assedi, il primo dei quali fu posto dal duca Erik di Södermanland nel 1308; nessun assediante ha mai preso il castello in battaglia, sebbene i difensori si siano arresi senza combattimento ai tedeschi nel 1940 nel corso dell'Operazione Weserübung, ovvero l'invasione di Danimarca e Norvegia.