In der Höhe zwischen zwei Seen – Bernardinu und Galves – stand eine Halbinselburg, die von der Stadt durch eine Mauer und einen tiefen Graben getrennt war. Die Burg war durch elf Wehrtürme geschützt. Sie wurde mehrmals – nicht nur von den Ordensrittern – angegriffen, sondern auch durch interne Kriege zwischen den Fürsten Litauens beschädigt. Nach der Tannenbergschlacht 1410 wurde begonnen, die Burg wieder aufzubauen. Nach dem Tod Vytautas des Großen wurden die Arbeiten allerdings nicht beendet. Im 18. Jahrhundert sind Angehörige des Dominikanerordens hierher gekommen, die hier ein Kloster und eine Kapelle gebaut hatten. Später ist sie endgültig zerstört worden. Erst während der zweiten Hälfte des 19. Jahrhunderts erfolgten Restaurierungsarbeiten.