Vor der Zeit des Deutschen Ordens gab es bereits eine Flieh- und Rastburg am Ort, die der Orden übernahm. Nachdem diese Burg von feindlichen Litauern zerstört worden war, baute man sie von 1345 bis 1348 in Stein auf einem rechteckigen Grundriss wieder auf. 1410 fiel die Burg an Polen, kam aber nach einem Jahr an den Orden zurück. Im Dreizehnjährigen Krieg gelangte sie wiederum in polnischen Besitz. Im Herzogtum Preußen wurde die Burg einem Burggrafen zur Verwaltung übergeben und von 1528 bis 1566 zu diesem Zweck umgebaut. Am 15. Dezember 1797 wurde die Burg durch ein Feuer zerstört. 1912 kaufte die Stadt Rastenburg das leerstehende Gebäude und richtete Wohnungen ein. In den 1930er-Jahren wurde die Burg saniert und in den 1940er-Jahren als Finanzamt und als Luftschutzbunker genutzt. Im Zweiten Weltkrieg stark zerstört, wurde die Burg von 1964 bis 1966 originalgetreu wieder aufgebaut.