એક લોક વાયકા પ્રમાણે વર્ષો પહેલા વિરમગામ સહિત માંડલ નજીકના ગ્રામ્ય વિસ્તારોમાં લોકો વિરમગામમાં હટાણુ કરવા આવતા ત્યારે પોતાનુ બળદ ગાડું આ મંદિર બહાર મૂકતા હતાં.