La tradición establece que la primera ermita se construyó en 1528, pero hay varios autores que defienden la edificación posteriormente en el año 1537, justo cuando se crea la Cofradía del Santísimo Sacramento y San Isidro.