જણાવવામાં આવી રહ્યું છે કે, વીતેલા સમયમાં પાંડવો પણ અહીં આવીને રોકાયા હતા અને ત્યારથી આ આશ્રમ અને અહીં બનેલા મંદિરમાં મહિલાઓના પ્રવેશ માટે પ્રતિબંધ છે.