Замак је претрпео велику штету током напада тевтонских витезова 1377. године. Након што је убијен Кејстут, настала је борба за власт између Владислава II Јагелоа и Витолда Великог за титулу великог кнеза. Замак је био опседан с обе стране. Након што су се ствари о том питању средиле, уследило је помирење сукобљених страна, па је могла почети друга фаза изградње. Радови су се наставили до 1409. године. Та фаза се сматра главном у изградњи овог замка. За време примирја с тевтонским витешким редом, грађевинске радове је надзирао мајстор Радике, четири године пре битке код Гринвалда.