Im Zuge der polnisch-litauischen Union unter Władysław II. Jagiełło (ab etwa 1386) kam es wieder zu Rivalitäten mit den örtlichen Rittern, die sich dem Staat des Deutschen Ordens anschlossen. Der Deutsche Orden verlor jedoch 1410 die entscheidende Schlacht bei Tannenberg, und ab 1422 kam die Burg Draheim in die Verwaltung des Starost Jan Wedel unter dem König Władysław III. von Polen und Ungarn. Der Dreizehnjährige Krieg endete schließlich im zweiten Frieden von Thorn 1466, in dessen Folge die Burg ihre militärische Bedeutung verlor. Im 16. Jahrhundert wurde die ländliche Besiedlung der Starostei Draheim ausgebaut, wie sich an Einnahmeverzeichnissen nachweisen lässt.