Во время Русско-польской войны 1654—1667 годов и Северной войны замок сильно пострадал, но позже был восстановлен.