Відбудований замок було зруйновано під час антифеодальної війни 1648—1651 років. Відновлений під час війни між Росією та Річчю Посполитою 1654—1657 років. 1657 року його захопили шведи, в 1660 і 1661 роках — росіяни, 1705 року під час Північної війни — знову шведи.