Med tiden miste abbediet oppslutning og status. I 1458 konstaterte pave Pius II at pilegrimene holdt seg unna og inntektene fra almissene sviktet, og i 1537 erstattet pave Paul III alle munkene med femten kanniker under ledelse av en abbed som kongen pekte ut. I 1568 og 1569 ble abbediet okkupert og plyndret, i 1790 hadde Sainte Marie-Madeleine blitt en vanlig soknekirke, i 1793 ble skulpturene på portalene vandalisert, og i 1819 slo lynet ned i tårnet og startet en brann. De andre bygningene i abbediet var solgte under den franske revolusjonen og brukt som steinbrudd til ulike formål. Med unntak av en bygning, var det praktisk talt ikke noe tilbake.