Первісний готичний замок Ридзинських було споруджено у 1403—1422 роках на штучному острові. Він проіснував неповні два століття, аж до вторгнення шведів. У 1685—1695 роках, за проєктом королівського архітектора Юзефа Шимона Беллотті або Помпео Феррарі частково на мурах старого замку споруджено барокову резиденцію родини Лещинських гербу Венява. Вже тоді замок набув форми чотириповерхової, чотирикрилої споруди з внутрішнім подвір'ям та чотирма вежами по кутах. Оздоблення інтер’єрів реалізував Мікеланджело Паллоні. У замковому театрі у 1687 році відбулася польська прем’єра комедії Мольєра «Міщанин-шляхтич». Близько 1700 року з ініціативи Станіслава Лещинського замок було перебудовано за проєктом Помпео Феррарі, якого Лещинський спеціально привіз із Риму. Він перебудував західне крило замку на зразок проєктів Берніні (Палаццо Барберіні, реконструкція Лувра).