Während dieser kriegerischen Auseinandersetzungen wurde 1355 die Schalauerburg zerstört. Sie wurde zwar bereits ein Jahr später wieder aufgebaut, doch nachdem sie 1365 erneut geschleift wurde, verzichtete man auf einen nochmaligen Wiederaufbau. Dagegen wurde die ebenfalls abgebrannte Burg Ragnit in den Jahren 1397 bis 1409 unter Mitwirkung des rheinländischen Baumeisters Nikolaus Fellenstein, der auch am Bau der Marienburg beteiligt war, in Backstein zu einer der stärksten Festungen des Ritterordens aufgebaut. Im Schutze der Burg hatte sich inzwischen ein Marktflecken entwickelt, der dank der günstigen Verkehrslage an der Heerstraße nach Insterburg und dem Flussübergang nach Norden an Bedeutung gewann. Die Pläne des Ordens, die Siedlung zur Stadt zu erheben, kamen wegen der Niederlage gegen Polen in der Schlacht bei Tannenberg (1410) nicht zur Ausführung. Allerdings wurde der Ort Sitz einer Komturei, der auch die Burgen in Tilsit und Labiau unterstanden. Auch nach der Säkularisation des Ritterordens 1525 blieb Ragnit Sitz eines Amtshauptmannes. Im 17. Jahrhundert wurde der Ort zweimal zerstört, während des Zweiten Nordischen Krieges im Jahre 1656 durch Tataren, 1678 während des Schwedisch-Brandenburgischen Krieges durch schwedische Truppen.