Entonces, el monasterio se convirtió en uno de los prioratos del monasterio de San Martín de Castañeda, si bien en la segunda mitad del siglo XII Ayoó pasó a depender de la Orden del Temple, ya que el "Tumbo de Castañeda" se recoge un pleito ante el Papa en que se reclama la restitución de "Ayó en Val de Bedriales", la cual fue desestimada: "“Por los años de 1182 el Papa Luzio tercero mandó a los Caballeros templarios buelban a este monasterio el lugar de Rivadelago y el de Ayó en Val de Bedriales que tenían tomados, y si no lo hiziesen comparezacan en juizio ante el obispo de Zamora, o de Astorga, o arzediano de León.