Während des 1414 ausgebrochenen so genannten Hungerkrieges wurde Passenheim von polnischen Truppen eingenommen und ausgeplündert. 1441 trat die Stadt dem Preußischen Bund bei, der sich gegen die finanzielle Ausbeutung der Städte durch den Deutschen Orden zu Wehr setzte. Während des letzten militärischen Aufbegehrens des Ordens gegen Polen im so genannten Reiterkrieg wurde Passenheim 1521 von polnischen Truppen besetzt. Mit der Umwandlung des Ordensstaates in das Herzogtum Preußen im Jahre 1525 wurden auch die geistlichen Komtureien durch weltliche Kreisverwaltungen abgelöst. Passenheim wurde dem Oberländischen Kreis mit Saalfeld als Amtssitz zugeordnet und dem Hauptamt Ortelsburg unterstellt.