L'invasion des Suédois en 1655, les incendies et autres calamités qui les frappèrent la ville aux XVIIe et XVIIIe siècles contribuèrent à son déclin. Pendant la Confédération de Bar, Maurycy Beniowski et Kazimierz Pułaski combattirent dans le château et autour de la ville.