Первоначальный готический замок Рыдзыньских был построен в 1403—1422 годах на искусственном острове. Он просуществовал неполные два века, вплоть до вторжения шведов. В 1685—1695 годах, по проекту королевского архитектора Юзефа Шимона Беллотти или , частично на стенах старого замка, была построена барочная резиденцию рода Лещинских герба Венява. Уже тогда замок приобрел формы четырехэтажной, четырехкрылой постройки с внутренним двором и четырьмя башнями по углам. Отделку интерьеров реализовал Микеланджело Паллони. В замковом театре в 1687 году состоялась польская премьера комедии Мольера «Мещанин во дворянстве». Около 1700 года по инициативе Станислава Лещинского замок был перестроен по проекту Помпео Феррари, которого Лещинский специально привез из Рима. Он перестроил западное крыло замка в стиле проектов Бернини (Палаццо Барберини, реконструкция Лувра).