Na de Slag bij Tannenberg in 1410 waarbij de Duitse Orde, de erfvijand van het Pools-Litouwse bondgenootschap, uitgeschakeld werd, verloor het kasteel zijn militaire belang. Het kreeg een bestemming als woonresidentie van de grootvorst van Litouwen en later als zomerpaleis voor de koningen van Polen (die tevens grootvorst van Litouwen waren). Het interieur werd gedecoreerd met fresco's; een deel daarvan is bewaard gebleven.