12 grudnia 1655 roku zamek zajęli żołnierze słuckiego garnizonu Bogusława Radziwiłła popierającego ówcześnie Szwedów. W 1656 zamek zniszczyli Moskale. Podczas wojny polsko-rosyjskiej, po bitwie pod Połonką w 1660 roku, zamek zdobył Samuel Kmicic. Zamek został zniszczony przez Szwedów w 1706. Odbudowany stał się rezydencją m.in. wojewody wileńskiego Karola Stanisława Radziwiłła, który znany był z wystawnych uczt.