Según fray Diego, el origen fue una capilla o eremitorio que se levantó a raíz de la aparición de la imagen a un pastor de nombre desconocido, en los albores del siglo XIV.