Slottet er det mest prominente bygget i byen. Det ble bygget av Den tyske orden mellom elvene Łyna og Symsarna mellom 1350 og 1401. Byen ble brukt som bispesete fra 1350 til 1795. Nicolaus Copernicus bodde ved slottet i mange år, og skal ha skrevet deler av der. Byen ble del av Preussen i 1772 under Polens første deling.