В 1337 году трокский князь Кейстут получил от своего отца Гедимина замок в Старых Троках. В 1375 г. он переселился на 3 км к озеру в Новые Троки — современный Тракай. Выступающий в озеро полуостров предоставлял более удобную для защиты позицию. Именно тут и была заложена Кейстутом новая резиденция. Почти одновременно началось строительство и островного замка, однако его остановила смерть Кейстута и междоусобная война его сына Витовта с Ягайлой.