Das Jagdschloss wurde von König Zygmunt II. zu einem Königsschloss erweitert, in dem seine Mutter Königin Bona Sforza nach dem Tod ihres Gemahls Zygmunt I. zeitweise wohnte. Von 1620 bis 1624 ließ Zygmunt III. das Schloss von Matteo Castello zu einer barocken Festung mit einem quadratischen Innenhof ausbauen. 1683 erwarb Kronmarschall Lubomirski das Schloss und ließ es umgestalten. Einer der beteiligten Architekten war Tylman van Gameren. Der letzte polnische König Stanisław August Poniatowski erwarb 1764 das Schloss und übereignete das Gelände 1784 der Stadt Warschau, das Schloss und seine Nebenanlagen dienten zunächst als Kaserne und in den folgenden fast 150 Jahren bis zum Zweiten Weltkrieg als Militärkrankenhaus. Es wurde während der deutschen Besetzung Polens von der Wehrmacht in Brand gesetzt und dabei zu 40 % zerstört. Nach dem Krieg wurde es nicht wiederaufgebaut, sondern seine Überreste 1954 auf Befehl des damaligen Marschalls Rokossowski abgetragen. An dessen Stelle sollte das Theater der Polnischen Armee entstehen. Erst 1975 wurde es im ursprünglichen, frühbarocken Stil rekonstruiert.