Zamek powstał w latach 1270–1305 na północnym stoku pradoliny Wisły w miejscu wcześniejszego grodu z 1260 roku, zniszczonego przez Litwinów w 1263 roku. Pierwszym komturem był Arnold Kropf, który pełnił tą funkcję w l. 1270-1276. W latach 1386–1415 zamek ten był siedzibą komturów bierzgłowskich. Podczas wojny trzynastoletniej w lutym w 1454 roku zamek został zajęty przez wojska Związku Pruskiego i stał się siedzibą administracyjną prokuratora krzyżackiego. W latach 1474–1840 był on własnością władz Torunia. Po pożarze, który miał miejsce w 1522 roku, zamek popadł w ruinę. Od 1840 roku, kiedy to przeszedł w prywatne ręce, odbudowano skrzydło południowo-zachodnie i wieżę bramną. 3 listopada 1908 roku w odbudowanych budynkach wybuchł kolejny dotkliwy pożar, który zniszczył pokrycie dachowe. W 1911 roku przeprowadzono rekonstrukcję według projektu Conrada Steinbrechta.