Przed 1383 rokiem główny budynek został przez biskupa Zbyluta z Wąsocza poszerzony do rozmiarów 17 x 25 metrów. Wtedy też wzdłuż krawędzi zbocza wzniesiono mury obwodowe. Podczas kolejnych rozbudów przy południowym odcinku murów powstały zabudowania gospodarcze. W kwietniu 1388 roku na zamku przebywał Władysław Jagiełło. Zamek w okresie poprzedzającym Wielką Wojnę był kilkukrotnie wykorzystywany do rokowań z Krzyżakami. Następny pobyt Jagiełły potwierdzony jest 25 maja 1402 roku, gdy regulowano problem Drezdenka.