Puolalaiset valtasivat linnan kesäkuussa 1457 kolmetoistavuotisen sodan aikana. Puolan hallussa se säilyi noin kolmen vuosisataa, eikä siihen tehty tuona aikana juurikaan muutoksia. Sitä käytettiin hallintokeskuksena, asevarastona ja väliaikaisesti kuninkaan asuinpaikkana. Linna kärsi hieman kolmikymmenvuotisen sodan, Pohjan sodan ja suuren Pohjan sodan aikana. Enemmän vahinkoa teki toukokuussa 1644 tapahtunut päälinnan kattopalo, jossa keskiaikaiset galleriat tuhoutuivat. Ne kuitenkin rakennettiin pian uudelleen, tosin barokkityylillä.