Der Bau der steinernen Burg, damals "Burg Friedeck" genannt, wurde Anfang des 14. Jahrhunderts unter Bischof Hermann (1303–1311) begonnen. Während des Dreizehnjährigen Kriegs wurde die Burg 1454 polnisch besetzt, 1464 von Ordenstruppen gebrandschatzt.