Bygningskomplekset består av tre opprinnelige slott: Det øvre slottet, det nedre slottet og det krokete slottet (litauisk: "Kreivoji pilis"). Sistnevnte ble ødelagt og brent ned av Den tyske orden i 1390, men ble aldri gjenoppbygget. Slottet ble angrepet flere ganger etter 1390 av Den tyske orden, men de lyktes aldri med å innta dette. Første gang festningsanlegget falt for en angriper var under slaget om Vilnius i 1655 under Den polsk-russiske krig (1654–1667). Ikke lenge etter mistet det ødelagte festningsanlegget mye av sin militære betydning, og flere av bygningene ble forlatt. Under Polens-Litauens tre delinger ble byen og området rundt en del av Det russiske keiserdømmet og flere historiske bygninger ble revet.