Una vez reconquistado este territorio por huestes cristianas, un pastor halló la imagen de la Virgen en una cueva popularmente conocida como "de la Mora", al pie de dicho castillo.