એવું કહેવાય છે કે હાલમાં જ્યાં રફાળેશ્વર મહાદેવનું મંદિર છે ત્યાં વર્ષો પહેલા જંગલ હતુ અને પાંડવો જ્યારે અજ્ઞાતવાસ હતા, ત્યારે તેઓ અહીં આવ્યા હતા.