A las afueras de Orcera se instaló una comunidad de frailes franciscanos que hacia 1534 comenzaron la construcción de un monasterio dedicado a Santa María de la Peña, una talla gótica que, según la leyenda, había sido encontrada en una cueva cercana por un labrador (la imagen se encuentra hoy en la parroquia de Segura de la Sierra y es una de las más antiguas que se conservan en la provincia de Jaén).