В ходе очередной войны между орденом и Польшей (Польско-тевтонская война (1519—1521) Хоэнштайн опять оказался в руках польского короля. По итогам конфликта рыцари ордена признали себя вассалами Речи Посполитой. Отныне замок стал входить в состав Прусского герцогства. В последующие годы здесь располагалась резиденция наместника.