Mit dem Zweiten Frieden von Thorn kam Frauenburg wie das gesamte Fürstbistum Ermland unter die Schutzherrschaft der polnischen Krone. Im Reiterkrieg, den Albrecht von Brandenburg-Hohenzollern noch als letzter Hochmeister des Deutschen Ordens gegen Polen führte, eroberten und verwüsteten seine Truppen 1520 die Stadt. Nikolaus Kopernikus, der zu der Zeit in Frauenburg Domherr war, zog deswegen zeitweise nach Allenstein (nach 1945 Olsztyn) um, machte sich aber um die Verteidigung und später den Wiederaufbau des Ermlands verdient.