Dopo il XVI secolo, il castello superiore non fu più mantenuto (ad eccezione di qualche piccola modifica per adeguarsi alle innovazioni giunte dall'Europa occidentale) né subì interventi di restauro. Fino all'inizio del XVII secolo, nella struttura si trovava una prigione per nobili, usata come fortezza per l'ultima volta durante l'invasione dei russi nel 1655, quando per la prima volta nella storia lituana, un esercito straniero conquistò l'intero complesso. Sei anni dopo, l'esercito polacco-lituano riuscì a riconquistare Vilnius e i castelli, non intervenendo in alcun modo per salvaguardare la salute delle fortificazioni difensive.