Замок был сожжён московскими войсками в 1616 и 1633 годах. Во время русско-польской войны в 1654 году занят русскими войсками, в 1655 году захвачен в результате восстания жителей Суража, в 1656 году снова занят русскими войсками. Победителям достались три знамени, четыре колёсных пушки калибра 0,5-3,5 фунтов, 26 затинных пищалей, большое количество боеприпасов. Историки считают, что замок того времени имел два боевых яруса, подземный ход, ведущий к реке, въездные ворота с подъёмным мостом и, по-видимому, две башни.