В середине XVI века юго-западная башня замка была окружена барбаканом. Вероятно, это было последнее устройство для усиления оборонительной мощи замка. Строительство барбакана было связано с необходимостью укрепления замка во время Ливонской войны (1558—1583). В первой половине XVII века Нерис подмыл северную стену замка: в 1611 году обвалилась одна башня, а в 30-е годы XVII века была смыта северная часть замка.