Zamek w Barczewie polecił zbudować w 1364 roku biskup Jan II Styprock równocześnie z murami miasta, jednak do faktycznej budowy mogło dojść w ciągu kilkunastu następnych lat. Zamek znajdował się w narożu płn.wschodnim murów obronnych otaczających miasto. Zbudowano go w kształcie czworoboku z dwoma równoległymi budynkami połączonymi murami. W narożniku południowo-wschodnim przypuszczalnie istniała wieża. Zamek zniszczono w czasie Wojny głodowej w roku 1414, jednak wkrótce go odbudowano. Na początku Wojny trzynastoletniej zamek zajęli propolscy powstańcy ze Związku Pruskiego, jednak w roku 1455 zaciężne oddziały krzyżackie pod dowództwem Jerzego von Schliebena odbiły go z rąk powstańców i utrzymały do końca wojny w 1466 roku. W czasie ostatniej wojny między Królestwem Polskim a Zakonem Krzyżackim w latach 1519–21, w styczniu 1521 roku wojska zakonne próbowały zdobyć zamek, jednak mimo ostrzału artyleryjskiego odstąpiły od szturmu.