Klášter voršilek se během své dlouhé historie neustále potýkal s finančními problémy. Dvakrát musely voršilky platit výpalné – nejprve Švédům a poté Prusům. V roce 1784 byl zchátralý klášter v rámci církevních reforem císaře Josefa II. zrušen a 34 sester voršilek se přestěhovalo do druhého kláštera voršilek na Nové Město. Do roku 1861 budova sloužila jako sklad soli, vnitřní vybavení bylo rozprodáno. Například vzácný Reinerův obraz z hlavního oltáře "Apoteóza sv. Jana", na němž je světec znázorněn s Pannou Marií, Ježíškem a svatou Annou, oslavován světicemi Anežkou Římskou, Cecílií, Barborou, Agátou, Voršilou, Angelou Merisi a bl. Zdislavou z roku 1727 se dostal do Severočeského muzea v Liberci.