Im Jahr 1400 weihte Bischof Heinrich die aus Findlingen und Backsteinen errichtete Kirche dem Heiligen Matthias. Einer Legende zufolge floss dabei Blut aus einer Hostie, und dieses Ereignis wurde mit dem kurz darauf folgenden Tode des Bischofs in Verbindung gebracht und als Wunder ausgelegt. Bischofstein wurde daraufhin zum Wallfahrtsort. Der von 1424 bis 1457 residierende Bischof Franz Kuhschmalz war der Stadt besonders zugetan, denn mit seinem am 26. Dezember 1448 ausgestellten Privileg überließ er Bischofstein ein großes Waldgebiet zur Nutzung. Da Bischofstein nicht als Kammersitz vorgesehen war, blieb der Bau einer befestigten Burg aus und das Bistum ließ lediglich ein Amtshaus zur Stationierung seiner Beamten errichten, das erstmals 1429 als „Gerichtshof“ Erwähnung fand. Schon 1457 fiel das Gebäude einem Brand zum Opfer; das Bistum verzichtete jedoch auf den Wiederaufbau. Das Grundstück blieb aber über Jahrhunderte als „Richthof“ in der Erinnerung der Bewohner. Bischofstein blieb bis zur Preußenzeit dem Kammeramt Rößel unterstellt. Der Brand von 1457 hatte seine Ursache im dreizehn Jahre andauernden „Städtekrieg“, den der von Städten im Ordensstaat gegründete Preußische Bund von 1454 bis 1466 gegen den Deutschen Orden führte, um sich gegen die finanzielle Ausbeutung zu wehren. Der ermländische Bischof Paul von Legendorf hatte den Brand selbst befohlen, um die Stadt nicht in die Hände der Aufständischen fallen zu lassen. Der Wiederaufbau der Stadt dauerte über zwei Jahrzehnte und wurde am 5. März 1481 mit einer erneuerten Handfeste besiegelt.