Разрушения, причиненные во время Шведского потопа, пожара и последствия экономического кризиса в XVII веке, обусловили постепенный упадок замка. В 1768 году вспыхнул очередной пожар, обусловленный походом Барских конфедератов и их неосторожностью, которая уничтожила замок.