En 1065, Raymond de Saint-Gilles (1042-1105), donne l'abbaye, "Abbatia Gordiniacensis", à l'abbaye de Cluny, mais 30 ans plus tard, en 1095, il la cède à l'abbaye de la Chaise-Dieu qui la conserve jusqu'en 1127. Car les moines d'Aniane qui contestent cette décision, portent l'affaire à Rome. Le pape Pascal II confirmera les droits d'Aniane en 1113, mais la Chaise-Dieu revendiquera à son tour en 1119 : peine perdue, puisque le nouveau souverain pontife Calixte II maintiendra la décision de son prédécesseur. L'abbaye devint prieuré conventuel. L'abbaye d'Aniane conservera ce prieuré jusqu'à la révolution. L'abbaye fut dévasté par la Croisade des albigeois entre 1214 et 1230, puis durant les guerres de religion entre 1570 et 1590. En cette fin de , le pays tout entier passa à la réforme. La messe n'était plus célébrée à Goudargues. Abbés et moines disparurent convertis ou chassés. Les immenses propriétés de l'abbaye restaient sans maître.