આ મંદિર વિશેની લોકવાયકા એવી છે કે મૂળ મંદિર જે ડુંગર પર છે તેમાં સ્થાપિત દેવીની દ્રષ્ટિ સમુદ્ર પર જ્યાં પડતી તે જગ્યાએથી પસાર થતાં જહાજો ડૂબી જતાં હતાં. આથી ગુજરાતના દાનવીર શેઠ જગડુશાએ પોતાના કુટુંબનું બલિદાન આપીને પણ માતાજીનું સ્થાન ડુંગરની તળેટીમાં પ્રસ્થાપિત કરાવ્યું.