Zánik kláštera zapříčinilo vypálení husity na jaře roku 1421, zdejší mniši se uchýlili do Svitav a již se nevrátili. Do klášterního kostela, který unikl zničení, se již roku 1428 přesunula farnost ze zaniklého kostela sv. Klimenta, jelikož katedrála Panny Marie byla nadále ruinou.