W 1500 roku bezskutecznie atakowała go konnica tatarskiego chana Mengli Gireja. Gródek częściowo został zniszczony podczas wojny polsko-moskiewskiej w latach 1654-67. Odbudowano go jednak później, bo istniał jeszcze w 1771 roku, a jego resztki przetrwały do początku XIX wieku. Podczas prac restauracyjnych w 1903 roku wokół wieży usypano okrągły wał umocniony kamieniami.