הטירה סבלה הרס רב במהלך ההתקפה של אבירי המסדר הטבטוני בשנת 1377. לאחר רצח קסטוטיס, החל מאבק כוח בין יוגאילו לבין ויטאוטאס על תואר הדוכס הגדול של ליטא. הטירה הייתה במצור על ידי שני הצדדים. זמן קצר לאחר חתימת ההסכם בין הצדדים, החל השלב השני של בניית הטירה עד לשנת 1409. השלב הזה נחשב לשלב ההתפתחותי החשוב ביותר בהיסטוריה של הטירה. מסתבר שבזמן שביתת האש עם המסדר הטבטוני, העבודות בוצעו בהשגחת רב הבנאים של המסדר, ארבע שנים לפני פרוץ קרב גרונוולד.