Si contavano in origine tre castelli: quello Superiore, quello Inferiore e quello "Storto" (in lituano: "Kreivoji pilis"). Quest'ultimo venne bruciato dai cavalieri teutonici nel 1390 e mai più ricostruito. Le fortificazioni subirono diversi assedi dell'ordine teutonico dopo il 1390, il quale non riuscì in nessuna occasione a prendere possesso dell'intero complesso. Il primo a riuscirci fu il Regno russo nel corso della battaglia di Vilnius del 1655. Poco dopo i castelli, gravemente danneggiati, persero la loro importanza e molti edifici furono abbandonati. Nel corso dell'annessione zarista avvenuta a seguito delle spartizioni della Polonia, si procedette alla demolizione dei vari edifici storici; molti altri subirono danni durante la costruzione della fortezza nel XIX secolo.