W 1234 r. z inicjatywy Hermanna von Balka wzniesiono tu prowizoryczną fortyfikację drewniano-ziemną, która obroniła się w czasie pierwszego powstania Prusów w latach 1242–1249. W latach 1270–1285 konstrukcję drewnianą zastąpiono kolejną, tym razem murowaną. Podczas budowy nieukończona druga warownia została opanowana przez Prusów w 1278 roku. Z tej fazy budowli pozostały do dzisiaj nieliczne relikty w postaci murów parchamu, piwnic pod kaplicą oraz przedzamcza. W latach 1310–1330 zbudowano zamek w znanej dziś czworobocznej formie z narożną wieżą bergfriedem, który został zaprojektowany prawdopodobnie przez tego samego architekta, który wcześniej zbudował zamek w Gniewie i prezbiterium kościoła św. Jakuba w Toruniu. Był to ówcześnie jeden z najmocniejszych zamków na południowych rubieżach państwa zakonnego w Prusach. Od 1251 r. znajdowała się tu siedziba komturii. Po bitwie pod Grunwaldem zamek zdobyły wracające spod Malborka wojska polskie 21 września 1410 r. Według Jana Długosza Władysław II Jagiełło dał w dzierżawę zamek Radzyń Jaśkowi Sokołowi ("Jan Sokol z Lamberka", dowódca oddziałów czeskich walczących po stronie polskiej), a w zamku pozostała polsko-czeska załoga, m.in. Jan Žižka. Jednak po I pokoju toruńskim w 1411 r. zamek powrócił w ręce Krzyżaków. Po wojnie trzynastoletniej znalazł się w granicach Prus Królewskich, będąc już od 1454 r. siedzibą polskich starostów. W czasie wojny polsko-szwedzkiej w 1628 roku został poważnie zniszczony w trakcie oblężenia przez Szwedów, a następnie opuszczony.