Nach dem Tode des kinderlosen Janusz III. fiel die Burg im 16. Jahrhundert an Bona Sforza, der Witwe von König Zygmunt I. (Stary). Unter ihr wurde etwa 1550 das vormals schlichte Wohngebäude in eine aufwändig ausgestattete Residenz umgebaut. Bereits kurze Zeit nach dem Tode der Königin wurde die Burg nicht mehr ausreichend unterhalten. In den Jahren 1657 und 1708 zerstörten im Rahmen der beiden Nordischen Kriege schwedische Truppen die Anlage teilweise. Während der preußischen Besetzung nach der dritten Teilung Polens wurde sie noch einmal beschädigt. Ab Ende des 18. Jahrhunderts diente sie als Steinbruch zum Bau von Gebäuden in der Ortschaft. Zwischen den Weltkriegen begann eine teilweise Rekonstruktion, Touristen konnten sie besichtigen.