Er wurde von König Sigismund III. Wasa für seine Söhne König Władysław IV. Wasa und Johann II. Kasimir als "Villa Regia" malerisch über dem Steilufer der Weichsel, heute Kazimierz-Park, errichtet. Während der schwedischen Besetzung 1655 bis 1660 wurde der Palast geplündert und zerstört. Einige der erbeuteten Bauteile wurden bei einem Weichselniedrigwasser im Jahr 2012 wiedergefunden. 1660 wählte es Johann II. Kasimir Wasa nach dem Wiederaufbau durch Isidoro Affaitati als seine Sommerresidenz. Von 1737 bis 1739 wurde es von Joachim Daniel von Jauch und Johann Sigmund Deybel von Hammerau im Stil des Spätbarock umgebaut.