El nombre de la ciudad proviene de los príncipes-obispos de Varmia, que a finales del siglo XIV poseían un castillo situado en la frontera sureste de su territorio, bordeado por el río Dymer. La primera mención registrada de la fortaleza data de un acta de 1389. En 1395, en virtud del derecho de Culm, el obispo Enrique III Sorbom concedió privilegios de ciudad a la localidad que se había desarrollado próxima al castillo. La ciudad tomó partido con la Confederación Prusiana, a cuya solucitud el rey Casimiro IV Jagellón firmó el acta de incorporación de la región a Polonia en 1454. La ciudad y el castillo fueron destruidos durante la Guerra de los Trece Años (1454-1466) entre la rebelde Confederación Prusiana y el Estado de la Orden Teutónica, y fueron incorporados junto con Varmia a la Corona del Reino de Polonia de acuerdo con la Segunda Paz de Thorn en 1466.