Under Sveriges invasjon av Polen i årene 1655–1656 ble Kongeslottet plyndret. Svenskene tok med seg verdifulle malerier, møbler, gobeliner, det kongelige bibliotek og kronearkiv samt flere skulpturer, hele gulv og kongeflagg. Under beleiringen av Warszawa i 1656 traff dessuten en kanonkule Sigismund-tårnet, og den øvre tårndelen falt ned på slottsgårdsplassen. Svenskene organiserte et militærlasarett på slottet, noe som bidrog til ytterligere ødeleggelse av bygningen. Noen måneder senere ble slottet herjet av den brandenburgske hæren, som tok med seg de fleste marmorelementene og slottets gjenværende gulvkledning.