Nach den Kriegsschäden wurde die Burg wieder aufgebaut und diente weiterhin als Bischofssitz. In den Jahren 1611 bis 1613, während der Herrschaft des Bischofs Maciej Konopacki, erfolgte der barocke Ausbau des Schlosses. Während des Nordischen Kriegs wurde die Burg 1655/56 von schwedischen Truppen zerstört. Im Jahr 1670 ist die Burg als Ruine erwähnt. Im Lauf des 18. und 19. Jahrhunderts wurden die Mauern der Vorburg und der Hauptburg abgetragen.