O rei polaco Sigismundo III e os seus sucessores da Dinastia Vasa — Władysław IV e Jan Kazimierz — reuniram um grande número de ricas obras de arte no castelo, como produtos orientais, tapeçarias e numerosas pinturas de artistas tão famosos como Ticiano, Veronese, Jacopo e Leandro Bassano, Tintoretto, Palma il Giovane, Antonio Vassilacchi, Tommaso Dolabella, Guercino, Guido Reni, Joseph Heintz, Rembrandt, Pieter Soutman, Peter Danckerts de Rij, Peter Paul Rubens, Jan Brueghel, o Velho, Daniel Seghers e Georg Daniel Schultz, entre outros, e esculturas por Giambologna, Giovanni Francesco Susini e Adriaen de Vries. Estas esplêndidas obras de arte foram tanto destruídas como saqueadas durante as invasões da Polónia pelos suecos e alemães de Brandemburgo, no decorrer do perído da história do país que durou de 1655 a 1657 e ficou conhecido como (O Dilúvio. Os suecos e os alemães tomaram as inestimáveis pinturas, mobiliário e tapeçarias, assim como a biblioteca real, o arquivo da Coroa, numerosas esculturas, pavimentos inteiros e bandeiras reais. No castelo, montaram um hospital militar de campanha, o que contribuiu adicionalmente para a devastação dos edifício. Poucos meses depois, exércitos destruíram o resto, pilhando a maioria dos elementos de cobre e rasgando o que restava do pavimento do castelo.