Una leyenda muy antigua nos refiere lo siguiente: En un lugar, conocido con el nombre de “Los Palmaretes”, distante medio kilómetro de la villa, se encontraba un pastorcillo, gobernando pacíficamente su rebaño, y, guiado por una luz resplandeciente, que brillaba sobre una palma, vio lleno de asombro aparecer en aquel mismo lugar la pequeñita y peregrina imagen, que en solemne procesión fue conducida a la Iglesia del antiguo Hospital de la Cofradía de San Martín (actual calle Convento).