Замку було завдано серйозних пошкоджень під час нападу тевтонських лицарів в 1377 році. Після вбивства Кейстута у 1382 році, у країні розгорілася запекла боротьба за владу між Ягайлом і Вітовтом. Замок був обложений з обох сторін. Незабаром після примирення між ними, розпочався другий етап будівництва, який тривав до 1409 року. Цей етап розглядається як важлива подія в історії замку. Існує версія, згідно якої під час перемир'я з Тевтонським орденом будівельними роботами керував муляр Ордену Радік (Radike). Це відбувалось за чотири роки до легендарної Грюнвальдської битви.