Замъкът е сериозно увреден при атака на Тевтонските рицари през 1377 г. След убийството на Кейстутис започва борбата за власт между Йогайло и Витаутас. Замъкът е бил обсаждан и от двете страни. След примирието между двамата започва втората фаза, която продължава до 1409 г. Тя е характерна със силно развитие. Обаче по време на примирието с тевтонците, работите са спрени от зидаря на ордена Радике, точно четири години преди битката при Грюнвалд.