Комплекс участвовал практически во всех войнах, которые проносились в своё время на белорусской земле: начиная с русско-польской войны 1654—1667 гг. и до Отечественной войны 1812 года, замок не раз брали в осаду и штурмовали его. Был повреждён в 1665 и 1706 годах, после восстановлен в начале XVIII века. Потом снова был сильно повреждён в 1794 году. В 1812 под стенами замка состоялся бой между польской кавалерией генерала Рожнецкого, входившей в состав французской армии, и арьергардом 2-й русской армии — казачьей конницей М. И. Платова.