Vše se obrátilo po bitvě u Grunwaldu v roce 1410, kdy spojená polsko-litevská vojska drtivě porazila řádové vojsko. Řád se musel vzdát Žmudě a zaplatit vysoké poplatky za propuštění zajatých druhů. Další ranou byla pro rytíře porážka v Třináctileté válce (1454–1466), kdy ztratili výraznou část svého západního území s Gdaňskem, Toruní a Elblagem. Z odtrženého území vznikly pod polskou správou tzv. "Královské Prusy" (později Západní Prusko). Východní území pod správou Řádu se začalo nazývat "Prusy křižáckými" (později Východní Prusko). Hlavní sídlo velmistra bylo přesunuto ze ztraceného Marienburgu do Královce. Řádový stát se stal lénem polského krále, což působilo neustálé napětí mezi polským králem a velmistrem Řádu. Poslední velmistr Řádu Albrecht Braniborský vyřešil celou situaci po svém. V roce 1525 přijal luteránskou reformaci, sekularizoval majetek Řádu a z Řádového státu vytvořil vévodství. Jako pruský vévoda pak složil lenní hold polskému králi. Východní Prusko se od té doby nazývalo "Prusy vévodské".