Od roku 1249 całe Prusy Górne znalazły się pod panowaniem zakonu krzyżackiego, a Przezmark podlegał administracji komturii dzierzgońskiej. Stałe osadnictwo datuje się od 1274 (po zdławieniu drugiego powstania pruskiego). Na miejscu zburzonego pruskiego grodziska Krzyżacy wznieśli swój zamek, który od 1312 był siedzibą szafarza, a następnie miejscem rezydencji prokuratorów (1316–1331). Od 1359 w Przezmarku urzędowali wójtowie. Przez cały XIV wiek zamek był rozbudowywany (urządzono w nim także szpital). Zamek został zajęty przez polskie wojska po bitwie grunwaldzkiej oraz powtórnie w 1454. Rozbudowany został w latach 1414–1437, a od 1414 w zamku urzędował konwent komturstwa dzierzgońskiego. W czasie wojen szwedzkich Przezmark był zajęty przez Szwedów, a w zamku przebywał król Gustaw II Adolf. Od 1717 zamek był stopniowo rozbierany. Do czasów współczesnych zachowała się narożna wieża zamku średniego (przedzamcza), część murów obwodowych oraz piwnice zamku wysokiego. Od 2000 jest własnością prywatną (właściciel odbudował część zabudowań na przedzamczu).