Золотий вік міста закінчився в лютому 1656 року (див. Потоп), коли шведські війська на чолі з королем Карлом Х Густавом спалили і розграбували його. Кількість мешканців Казімежі скоротилася і король Ян III Собеський, намагаючись поліпшити ситуацію, дозволив у 1677 році вірменам, грекам та єврейським купцям оселитися там. У той же час важливість Вісли як транспортної артерії майже повністю знизилась через відсутність попиту на польське зерно в Західній Європі.