Во время Ливонской войны 1588-1583 гг. в 1563 году город и замок захватили и уничтожили войска Ивана IV Грозного. Замок больше не восстанавливался. Остатки больших валов осматривал в 1573 году историк М. Стрыйковский, который отметил, что на этом месте некогда был большой замок. С XVII века документы упоминают только деревню Лукомль.