Byens forfall begynte i 1656 da svenske tropper satte fyr på den og plyndret den. Flere soldater marsjerte gjennom den og ødela byen. I 1677 utstedte kong Johann III Sobieski et dekret som tillot bosetting av armenske, greske og i særdeleshet jødiske kjøpmenn. Men de neste polsk-svenske krigene ødela optimismens ånd, spesielt ettersom etterspørselen etter polsk korn i hele Europa fortsatte å avta. Delingene av Polen betydde da en definitiv slutt på kornhandelen. Kazimierz Dolny var da i den del som ble del av Tsarrussland, og Wisłas munning i Østersjøen ved Danzig (Gdańsk) lå i kongedømmet Preussen .