Em 1470, Johann Wolthus von Herse, então mestre da Ordem, fixou residência no castelo. Em 1481, Ivan III da Rússia sitiou o castelo, mas não conseguiu tomá-lo. Porém, durante a Guerra da Livônia, a Rússia moscovita conseguiu conquistá-lo em 1560. Durante as Guerras polaco-suecas, no início do século XVII, o castelo mudou constantemente de dono e acabou em ruínas. O mesmo aconteceu com o município, que foi destituído de seus privilégios.