У XIII стагоддзі горад быў захоплены крыжакамі, але ў 1391 годзе замак быў узяты Вітаўтам. 1 верасня 1435 года тут адбылася буйная бітва, паміж войскам Жыгімонта Кейстутавіча і войскам Свідрыгайлы, якая скончылася паражэннем Свідрыгайлы. Вількамір руйнаваўся крыжакамі ў 1333, 1365, 1378, 1386 і ў 1391 гадах. Крыжацкія набегі скончыліся толькі пасля Грунвальдскай бітвы.