આ મંદિરને લઇને એક પૌરાણિક કહાણી છે. વર્ષો પહેલા ડુંગરમાં શીલા ઉપસ્થિત હતી અને તેની પૂજા કરવા માટે રોજ ગામની એક શ્રદ્ધાળું મહિલાને ડુંગર ચઢવો પડતો હતો. સમય જતાં મહિલા વૃદ્ધ થતા તે ડુંગર પર ચઢી શકતી ન હોવાથી પોતાના આરાધ્ય દેવને આ વૃદ્ધ મહિલાએ પ્રાર્થના કરી કે ડુંગરેશી બાવજી તમારું સત હોય અને મારી ભક્તિ સાચી હોય તો તમે કાલે નીચે આવી જજો. બીજા દિવસે જાણે કે ચમત્કાર સર્જાયો હોય તે રીતે ડુંગર પરની શીલા તળેટીમાં હતી.