Při českém povstání však byli zdejší jezuité vypuzeni a klášter byl stavovskými úředníky zabaven a roku 1619 ho koupilo město Krupka, kde tehdy vládli protestanti. Ještě při tomto prodeji uvádí, že klášter je minoritský a jezuité ho měli jen k užívání. Za třicetileté války utrpěla Krupka i její klášter velké škody. Od roku 1634 ležel klášter v troskách. Po Bílé hoře se však jezuité z Chomutova usídlili přímo v Bohosudově, a i když roku 1651 předal krupský farář klášter s kostelem opět pražské jezuitské koleji u sv. Klimenta, jezuité se již nevrátili. Brzy však vznikly mezi bohosudovskými jezuity a františkány o klášter a jeho zařízení těžké spory. Krupští stáli na straně Menších bratří, kteří se nároků na krupský konvent vzdali na své provinční kapitule v Bechyni v roce 1673. Spor byl ukončen roku 1675 rozhodnutím litoměřického biskupa Schleinitze, podle něhož byl zpustlý klášter a kostel Všech svatých, "„na nějž františkánský řád již dříve rezignoval“", přiřčen jezuitům. Roku 1677 předal rektor jezuitské koleje sv. Klimenta restaurovaný kostel Všech svatých a zpustlý klášter v Krupce darem bohosudovským jezuitům. Ti pak drželi tento kostel až do zrušení řádu roku 1773. Kostel byl spravován jezuity a patřil k jejich panství Soběchleby. Teprve roku 1787 zakoupilo město Krupka od eráru kostel Všech svatých s vedle stojícím malým domkem (poslední zbytek bývalého kláštera). Kostel, který byl v troskách, byl snesen a v místech bývalého kostela a kláštera bylo postaveno šest malých měšťanských domů.