Bis Mitte des 15. Jahrhunderts war die Burg Sitz eines Burggrafen und eines ermländischen Kammeramtes. Während des dreizehnjährigen Städtekrieges (1454–1466) zwischen dem rebellierenden Preußischen Bund und dem Deutschen Orden wurden sowohl die Burg als auch die Stadt 1466 völlig zerstört. Die Stadt hatte sich zu Beginn des Krieges kurzfristig dem Preußischen Bund angeschlossen. Da die Burg nicht wieder aufgebaut wurde, verlor die Stadt den Sitz des Kammeramtes und wurde dem Kammeramt Seeburg unterstellt. Mit dem 2. Thorner Frieden, der 1466 den Dreizehnjährigen Krieg beendete, kam Bischofsburg zusammen mit dem Fürstbistum Ermland vom Schutz des Deutschen Ordens in den Schutz der polnischen Krone. Bei einem Stadtbrand im Jahre 1505 kam es erneut zu Zerstörungen; unter anderem brannte die Kirche nieder. Verwüstungen brachte auch der Reiterkrieg zwischen dem Deutschen Orden und Polen (1519–1521) mit sich. Anschließend trat eine Phase stabiler Verhältnisse ein, und Bischofsburg profitierte von dem Privileg für einen Wochenmarkt, das Bischof Hosius 1571 verlieh. Sein Nachfolger, Bischof Cromer, berichtete 1583, dass die Stadt mehrheitlich von Polen bewohnt wird. 1626 brachen die schwedisch-polnische Kriege aus, die zunächst einen starken Bevölkerungsverlust durch die Flucht der Einwohner vor den Kriegswirren mit sich brachte. So ging beispielsweise die Zahl der Handwerker zwischen 1627 und 1633 von 27 auf 15 zurück. Schlimmer ging der zweite Schwedenkrieg für die Stadt aus, denn am 13. Mai 1659 ging sie im Verlauf von Kämpfen zwischen preußischen und schwedischen Truppen in Flammen auf. Das gleiche Schicksal wiederholte sich 1692, als Bischofsburg erneut einem Stadtbrand zum Opfer fiel. Noch einmal kam Not in den Jahren 1709 und 1710 über die Stadt, als die im Land grassierende Pest so viele Tote forderte, dass Massengräber ausgehoben werden mussten.