Około 1390 roku krzyżacy rozbudowali zamek w obliczu zaostrzenia stosunków z Królestwem Polskim. Podczas wielkiej wojny polsko-krzyżackiej w 1410 roku nieopodal rozegrała się zwycięska dla Polaków bitwa pod Koronowem. Zamek został zdobyty przez wojska Władysława Jagiełły, lecz na mocy pokoju z 1411 roku został zwrócony krzyżakom. Podczas wojny głodowej w 1414 roku przez zdradę jednego z rycerzy zakonnych zamek zdobyli Polacy i następnie spalili. W 1420 roku wskutek wojen zamek był wypalony, lecz nadal pod jurysdykcją krzyżacką. W 1433 roku podczas kolejnej wojny polsko-krzyżackiej, powracające spod Gdańska rycerstwo polskie ostrzelało go z dział i po raz kolejny splądrowało i spaliło. W 1449 krzyżacy rozpoczęli jego odbudowę, lecz już na początku wojny trzynastoletniej (1454) zamek na trwałe zajęli Polacy. Od tego czasu funkcja zamku zmieniła się ze strażnicy pogranicza na warowną siedzibę polskiego starosty.