Les donacions dels comtes de Cerdanya impulsaren, ràpidament, el creixement de l'abadia. Tanmateix, el 1049, va morir el comte Guifré II després d'haver passat la fi de la seua vida en l'abadia, i aquesta comença ràpidament a declinar. De fet, a partir del , fou sotmesa a l'abadia de la Grassa en el departament de l'Aude, però els monjos benedictins de Sant Martí del Canigó en rebutjaren l'autoritat. Això va desencadenar una expedició punitiva ordenada per l'abat de l'abadia de la Grassa, que provocà el saqueig del monestir i la mort d'un monjo. Finalment, el conflicte es va resoldre mitjançant l'arbitratge del papa, que no aturà, però, la decadència de l'abadia. El terratrèmol del 1428 suposà un altre cop dur per al monestir, destruí les habitacions i en malmeté el campanar. La manca de recursos va dificultar-ne la reconstrucció, de manera que fou suprimit el pis superior, substituït per uns merlets.