Die Befestigungs- und Burgbauarbeiten des Ordens begannen bald nach der Besitzergreifung des Bergplateaus im Jahre 1255. Zunächst wurde eine Erdwallburg erbaut, die auch später noch den Charakter einer Vorburg behielt. Gleichzeitig wurde aber auch mit der Hauptburg begonnen, die so wehrhaft war, dass sie im großen Prußenaufstand von 1260 einer dreijährigen Belagerung standhielt. Nach der Schlacht an der Durbe begann man mit dem Ausbau einer doppelten Ringmauer, die durch neun Wehrtürme unterbrochen wurde. Von diesen Türmen hatte sich bis zur Zerstörung des Schlosses nur der an der nordöstlichen Ecke gelegene Haberturm in seiner ursprünglichen Form erhalten. Eine Tonplatteninschrift besagte, dass er vom samländischen Vogt Dietrich von Liedelau (1278–1292) erbaut worden war. Das Herzog-Albrecht-Denkmal in doppelter Lebensgröße wurde von Friedrich Reusch ausgeführt und 1891 im Beisein des Kaiserpaares am Haberturm enthüllt. 1935 wurde es aus „verkehrstechnischen“ Gründen an den Turm des Kürschners verbannt. Die Replik steht heute auf dem (eingeebneten) Kneiphof.