החל מהחצי השני של המאה ה-16 מעמדה של העיר ירד באופן דרסטי. ב-1581, במהלך מלחמת ליבוניה, היא נכבשה והוחרבה על ידי האיחוד הפולני-ליטאי ונשארה בשלטון האיחוד גם בתחילת תקופת הצרות. ב-1608 היא נכבשה על ידי כוחותיו של דמיטרי הכוזב השני, אך ב-1609 היא נכבשה על ידי כוח רוסי-שוודי שנלחם נגד דמיטרי. השוודים השתלטו לבדם על האזור ב-1611 והוא הוחזר לרוסיה בחוזה סטולבובו ב-1617. באותו זמן העיר הייתה חרבה לחלוטין ונותרו בה 38 בני אדם בלבד מתוך 8,000 בסוף המאה ה-16, והיא החלה בתהליך שיקום ארוך.