В XVI веке, как и большинство литовских королевских крепостей, Верхний замок перестал регулярно ремонтироваться и начал ветшать. Использовался он как тюрьма для шляхтичей. В 1655 г. впервые в истории был взят вражеской армией — русской под предводительством князя Д. Е. Мышецкого. Русский гарнизон хозяйничал в замке целых шесть лет.