De Teutoonse Orde probeerde onder leiding van Heinrich von Plötzke het kasteel te veroveren in 1314, maar de aanval was niet succesvol. Tijdens de regering van Vytautas de Grote werden er vier stenen torens aan het kasteel toegevoegd. Het hoofdkasteel van Navahroedak zou in de zeventiende eeuw zeven torens tellen. Tot tweemaal toe zou het kasteel tijdens de Pools-Russische Oorlog (1654-1667) ingenomen worden door de Russen. Ook de Zweden plunderden het kasteel in 1706 tijdens de Grote Noordse Oorlog en hierdoor raakte het kasteel in verval. Pas vanaf 1920 werden er pogingen ondernomen om de ruïnes van het kasteel te beschermen.