Dada a sua posição estratégica, apetecida pela Suécia, Dinamarca e Noruega, a fortaleza foi atacada várias vezes pelos dinamarqueses, que a conseguiram conquistar em 1502 (por ), em 1563 (Guerra Nórdica dos Sete Anos) e em 1612 (Guerra de Calmar).