Во время русско-польской войны в 1655 году замки без особых затруднений и крупных боёв были взяты русскими войсками. 11 июля 1661 года Вильна была отбита, но бои за замки продолжались до декабря. В результате замки сильно пострадали, были восстановлены только кафедральный собор, епископский дворец и арсенал.