У 1429 році у князівському палаці, що знаходився у Верхньому замку, проходив з'їзд європейських монархів, який мав на меті розв'язати політичні та економічні питання центрально-східної Європи та вирішити питання про коронацію Вітовта. Замки неодноразово підлягали нападу. Так, у 1431 році під час «Луцької війни» замки витримали облогу військ політичних противників великого литовського князя Свидригайла. У 1595 році замок був узятий військовими загонами Северина Наливайка.