Після Грюнвальдської битви в замку було прийнято рішення щодо продовження війни. Польський король Владислав Ягайло бував у замку аж 35 разів. У 1476—1481 роках замок був садибою княгині Анни Сохачевської. Коли було утворено Прусський союз, який виступав проти Тевтонського ордену, його представники зустрілися у Колі з польським королем Казимиром Ягеллончиком. У 1513 році у замку перебував польський король Сигізмунд Старий. З середини XVI століття замок почав занепадати. У 1655 році його захопили шведи. У XVIII столітті польський король Август III Фрідріх подарував замок кольським бернардинам, які розпочали його розбирати задля отримання будівельного матеріалу для відбудови знищеного монастиря. Міцний будівельний розчин, який з'єднував крихку цеглу, не дозволив їм повністю розібрати мури будівлі. У 1768 році бернардини покинули замок.