Після захоплення Правобережжя Польщею в 1596 році посилюється соціально-економічний гніт населення. Під час визвольної війни 1648-54 років під проводом Богдана Хмельницького замок повстав і був звільнений від польської шляхти. До 1667 року він входив до складу Корсунського полку. За Андрусівським договором 1667 року Правобережжя залишилось у складі Польщі. Протягом XVIII століття тут пройшло багато повстань проти польської шляхти. В районі замку діяв гайдамацький загін на чолі з козаком Гнатом Голим. Для захисту від гайдамаків польський уряд почав укріплювати Звенигородський замок. Він був обнесений дубовим частоколом, побудовані нові башти та казарми для охорони.