Tijdens de Zevenjarige Oorlog van 1563 tot 1570 werd het fort zesmaal aangevallen door de Zweden. Het is de Zweden niet gelukt het fort in te nemen. In 1566 lukte het de Zweedse troepen wel om een toren, de zogenaamde Rode Toren, in te nemen. Een van de Noorse soldaten ging hierop de kruitopslag in de kelder van deze toren in en blies zichzelf met de toren op, waardoor het kasteel uiteindelijk in Noorse handen bleef. Volgens een andere overlevering waren het de Zweedse soldaten die de toren opbliezen.