První úpadek nastal v roce 1539 během povstání v Gentu a další v roce 1560, kdy Nizozemci kořistili během náboženských válek, které vyvrcholily obrazoborectvím ("Beeldenstorm") roku 1566, kdy se kostel ocitl v ruinách, knihovna byla rozchvácena a další budovy těžce poškozeny. Mniši našli dočasné útočiště ve špitále a bohoslužby se sloužily v refektáři. Ústrky však pokračovaly a mniši nakonec v roce 1578 prchli do Douai. Klášterní budovy byly prodány ve veřejné dražbě a zčásti zbořeny a materiál posloužil při stavbě městského opevnění. Klášter se v roce 1584 stal církevním majetkem a byl nakonec přebudován. Nový klášterní kostel, jehož stavba započala roku 1629, byl zbudován v barokním slohu stejně jako několik nových budov. Ještě jednou nastal rozmach v 18. století, kdy vznikly další stavby a stávající byly rozšířeny a kdy byl dormitář přeměněn v knihovnu s více než deseti tisíci svazků. Ale úplný konec měl zanedlouho přijít, první ranou byla revoluce v Brabantsku v letech 1789–90, pak francouzský vpád v roce 1793. Nakonec 1. září 1796 Direktorium zrušilo všechny náboženské instituce. V roce 1798 byla vyklizena knihovna, knihy byly posléze předány univerzitě v Gentu. Od roku 1798 sloužil klášterní kostel jako muzeum, ale církvi byl v roce 1801 vrácen a znovuzasvěcen Naší Paní Svatopetrské (). Zbytek opatství přešel v roce 1810 do majetku města a byl zčásti zbořen, aby uvolnil místo pro kasárna, jež zde stála až do roku 1948.