Замку быў нанесены сур'ёзны ўрон падчас нападу тэўтонскіх рыцараў ў 1377 годзе. Пасля забойства Кейстута ў 1382 годзе, у краіне разгарэлася жорсткая барацьба за ўладу паміж Ягайлам і Вітаўтам. Замак быў абложаны з абодвух бакоў. Неўзабаве пасля прымірэння паміж імі, пачаўся другі этап будаўніцтва, які працягваўся да 1409 года. Гэты этап разглядаецца як важная падзея ў гісторыі замка. Існуе версія, паводле якой падчас перамір'я з Тэўтонскім ордэнам будаўнічымі работамі кіраваў муляр Ордэна Радзік (Radike). Гэта адбывалася за чатыры гады да легендарнай Грунвальдскай бітвы.