Замок подвергался грабежу во время шведского нашествия середины XVII века и Северной войны. Хотя и Ян Собеский, и Август III финансировали ремонтные работы, полномасштабное обновление обветшавшего строения связано с именем последнего короля, Станислава Августа Понятовского. По его инициативе вдоль Вислы было построено новое крыло с современными интерьерами в стиле классицизма, а старый замок был обстроен рядом новых залов и сооружений, включая протяжённый корпус королевской библиотеки, соединяющий замок с барочным дворцом «под бляхой».