У час Лівонскай вайны 1588—1583 гадоў у 1563 годзе горад і замак захапіла і знішчыла войска Івана IV Грознага. Замак больш не аднаўляўся. Рэшткі вялікіх валоў аглядваў у 1573 годзе гісторык М. Стрыйкоўскі, які адзначыў, што на гэтым месцы быў некалі вялікі замак. З XVII ст. дакументы згадваюць толькі вёску Лукомль.