Wkrótce po bitwie pod Grunwaldem zamek zaczął tracić swoje znaczenie wojskowe. Dawna twierdza została przekształcona w rezydencję książęcą i bogato udekorowana wewnątrz. Do Trok przyjeżdżali zagraniczni posłowie, w 1414 zamek opisał flamandzki podróżnik Guillebert de Lannoy. W zamku kilkakrotnie gościł Władysław Jagiełło, zaś Witold zmarł na terenie zamku w 1430. Dziesięć lat później w twierdzy został zamordowany jego brat Zygmunt. Pod rządami Zygmunta Starego i Zygmunta Augusta obiekt został przebudowany w stylu renesansowym i przeszedł kolejne prace adaptacyjne w celu przekształcenia w letnią rezydencję. Czasowo pełnił również funkcję więzienia. W czasie wojen z Moskwą został zrujnowany, a z odbudowy zrezygnowano.