Палац-замак падвяргаўся рабаванню падчас шведскага нашэсця сярэдзіны XVII стагоддзя і Паўночнай вайны. Хоць і Ян Сабескі, і Аўгуст III фінансавалі рамонтныя работы, поўнамаштабнае абнаўленне струхлелага будынка звязана з імем апошняга караля, Станіслава Аўгуста Панятоўскага. Па яго ініцыятыве ўздоўж Віслы было пабудавана новае крыло з сучаснымі інтэр'ерамі ў стылі класіцызма, а стары замак быў забудаваны шэрагам новых залаў і будынкаў, уключаючы працяглы корпус каралеўскай бібліятэкі, якая злучала замак з барочным палацам «Пад бляхай».