W czasie wojny polsko-rosyjskiej 1654-1667 wojska rosyjskie w 1654 splądrowały miasto, dokonując tzw. rzezi Trubeckiego. W 1661 roku miasto zostało odzyskane przez Rzeczpospolitą. W 1676 roku Sejm na wniosek wojewody Jana Ogińskiego zatwierdził potrzebę odbudowania twierdzy. W XVIII wieku miasto zostało przebudowane wg planów J.K.Glaubitza.