Po wojnie trzynastoletniej na mocy drugiego pokoju toruńskiego w 1466 roku zamek ponownie trafił w ręce polskie, i stał się siedzibą starostów królewskich. W XVIII wieku warownia popadła w ruinę i w XIX wieku została ostatecznie rozebrana. W 2009 roku wstępne badania archeologiczne obaliły mit, jakoby budynek młyna posadowiono na fundamentach dawnego zamku. Główna część zamku znajdowała się na północny zachód od młyna.