У часи шведської навали, в 1655—1656 роках, королівський замок у Варшаві був розграбований - шведи поцупили безцінні картини, меблі, гобелени, обчистили королівську бібліотеку і коронний архів, зникли також численні скульптури та атрибути королівської влади. В замку влаштували військовий лазарет і вводили коней навіть на третій поверх, що додатково сприяло руйнуванню об'єкта. Кілька місяців по тому справу знищення замку продовжило бранденбурзьке військо. Ними було вкрадено мармурову підлогу та інші цінні деталі інтер'єру. Також під час шведської облоги Варшави, у 1656-у, артилерійська куля потрапила в шпиль Зуґмунтовської Вежі, що і призвело до її серйозного пошкодження і знищення в результаті падіння на замковий двір.