В 1429 году в княжеском дворце, который находился в Верхнем замке, проходил съезд европейских монархов, который имел цель решить политические и экономические вопросы центрально-восточной Европы и решить вопрос о коронации Витовта. Замки неоднократно подвергались нападению. Так, в 1431 году во время «Луцкой войны» замки выдержали осаду войск политических противников великого литовского князя Свидригайло. В 1595 году замок был взят военными отрядами Северина Наливайко.