Entre los años 1160 y 1168, el caballero navarro Pedro Ruiz de Azagra, se convirtió en señor de Albarracín, y deseó refundar la supuesta antigua diócesis de la zona, pero el Papa Adriano IV, donó la Iglesia de la ciudad a la de Zaragoza, decisión apoyada por el rey de Aragón Alfonso II el Casto, que también la donó a aquella sede.