У 1414 г. гараджане добраахвотна ўпусцілі ў горад польскія войскі на чале з Ягайлам. Пасля пачатку Трынаццацігадовай вайны ў 1454 г. гараджане сталі на бок крыжакоў. Праз год горад захапілі палякі, якія руйнуюць замак, рабуюць і спальваюць увесь горад. З 1466 г. горад разам з Варміяй уваходзіў у склад Польскага Каралеўства. У 1518 і 1519 гг. тут у замку жыў Мікалай Капернік. У 1520 г. захапілі горад і часткова знішчылі яго войскі Альбрэхта Гогенцолерна. У 1626 г. горад абрабавалі і разрабавалі шведскія войскі, праз год значная частка будынкаў была спалена, аднак палякі пад кіраўніцтвам Станіслава Рэверы Патоцкага адбілі горад. У часы Рэчы Паспалітай адным з мэраў горада быў мастак Пётр Кольбэрг.