Im Jahre 1370 fiel die Ortelsburg den Kämpfen zwischen dem Deutschen Orden und den Litauern zum Opfer. Unter ihrem Anführer Kynstut zerstörten die Litauer die Burg. Der Orden wollte seinen Stützpunkt jedoch nicht aufgeben und errichtete sofort eine neue Burg, die diesmal widerstandsfähiger war und aus Stein errichtet wurde. Während des Dreizehnjährigen Krieges (1454–1466) war sie hart umkämpft und wurde mehrfach von beiden Kriegsparteien besetzt.