Під час Лівонської війни 1588—1583 рр. у 1563 р. місто та замок були захоплені та зруйновані армією Івана IV Грозного. Замок більше не реставрували. Залишки великих волів оглянув у 1573 р. історик М. Стрийковський, який зазначив, що це місце колись було великим замком. З XVII ст. документи згадують лише село Лукомль.