W roku 1588 Zdziar stał się lennem biskupów ołomunieckich, czemu sprzeciwił się klasztor ze zdecydowanym poparciem mieszkańców. W wyniku sporów kardynał Franz von Dietrichstein włączył je do swych osobistych dóbr. W roku 1607 podniósł Zdziar do godności miasta, a w 1614 rozwiązał klasztor. Po bitwie na Białej Górze, w 1620 roku, do miasta zostali sprowadzeni franciszkanie, a w 1639 znów wrócili cystersi. W 1642 klasztor został obroniony przez braci i mieszczan przez atakiem Szwedów, jednak ci w roku 1647 wrócili i zniszczyli miasto. Największy rozkwit klasztoru nastąpił w XVIII w., głównie za sprawą przebudowy dokonanej przez Jana Blažeja Santiniego-Aichela. Została również założona akademia dla młodzieży szlacheckiej. W wyniku reform Józefa II Habsburga klasztor został ostatecznie rozwiązany w roku 1784. Niektóre budowle przeszły w prywatne ręce, a centrum klasztoru zostało później przebudowane na zamek.