Помнік удзельнічаў практычна ва ўсіх войнах, якія толькі праносіліся ў свой час па шматпакутнай беларускай зямлі: пачынаючы з руска-польскай 1654—1667 гадоў і да руска-французскай 1812 года, замак не раз бралі ў аблогу і штурмавалі. Быў пашкоджаны ў 1665 і 1706 гадах, пасля адноўлены ў пачатку XVIII стагоддзя. Пасля зноў моцна пашкоджаны ў 1794 годзе, пасля чаго ў канцы XVIII стагоддзя заняпаў. У 1812 годзе пад сценамі замка адбыўся бой паміж французскай кавалерыяй маршала Луі Даву і ар’ергардам 2-й рускай арміі — казацкай конніцай Мацвея Платава.