એક લોક વાયકા પ્રમાણે વર્ષો પહેલા વિરમગામ સહિત માંડલ નજીક ના ગ્રામ્ય વિસ્તારોમાં લોકો વિરમગામ મા હટાણુ કરવા આવતા ત્યારે પોતાનુ બળદ ગાડું આ મંદિર બહાર મૂકતા હતા.