Fue una de las principales residencias de los Obispos de la Diócesis de Jaén en la provincia, utilizándose como avanzado y trascendental bastión en la formación de la primitiva Iglesia después de la invasión Árabe en el territorio de la provincia de Jaén.