Die Festung wurde mehrmals umkämpft. 1577 wurde sie vom polnischen König Stefan Báthory erfolglos belagert, wobei der Architekt Hans Kramer fiel. 1622–1629 diente die Festung als Stützpunkt der polnischen Flotte. In der Nacht vom 5. auf 6. Juli 1628 wurden die polnischen Schiffe durch schwedische Streitkräfte mit Kanonenfeuer angegriffen, wobei das Schiff "Gelber Löwe" und die Galeone "Sankt Georg" versenkt wurden. Im Polnisch-Schwedischen Krieg während der Seeschlacht von Oliwa am 28. November 1627 wurde die schwedische Flotte von der Festung beschossen. 1734 wurde die Festung von der russisch-sächsischen Armee und 1793 von der preußischen Armee angegriffen. 1807 wurde sie von Napoleon, 1814 wieder von den Preußen belagert.