W roku 1659 zamek szturmowały wojska moskiewskie. Zamek najbardziej ucierpiał w roku 1710, gdy spaliły go szwedzkie wojska Karola XII podczas III wojny północnej. Po 1791 roku, gdy zostało spalone miasto, rabunkowo zaczęto rozbierać zamek na materiał budowlany. Podczas powstania w 1794 na zamku doszło do starcia pomiędzy wojskami Tadeusza Kościuszki i wojskami rosyjskimi. W latach 20. XX wieku miejscowe polskie władze zaczęły zamek odbudowywać. Na dziedzińcu zamkowym znajdowało się boisko przysposobienia wojskowego. Obecnie prace rekonstrukcyjne są kontynuowane od 1982 roku. Po 2007 roku zrekonstruowano m.in. wieżę i drewnianą galerię obronną ciągnącą się wzdłuż korony murów ze strzelnicami.