Віслиця підупала у XVII ст. під час Шведського потопу. У 1657 її зруйнувало військо Юрія Ракоці. У 1766 році було знесено замок, у 1820 костели Св. Мартіна і Святого Духу, а наприкінці ХІХ ст. стародавні міські мури. Після Січневого повстання у 1869 році Віслиця втратила права міста.