આ મંદિર વિશે એવી પણ કથા પ્રચલિત છે કે અજ્ઞાતવાસ દરમિયાન પાંડવો અહીં આવીને રહ્યા હતા.