La leyenda áurea de su fundación se remonta al año 1450 y es similar a la de Guadalupe ya que en ambas indica la tradición que se apareció la Virgen María a un vaquero sobre un olivo por lo que se erigió una iglesia que se puso bajo la advocación de María Santísima de la Mancha que más tarde se cambió por el de Nuestra Señora de la Natividad o Asunción.