એક લોકવાયકા પ્રમાણે પહેલા આ પાંચ દેવીઓ ચંડિકા, અંબિકા, નવદુર્ગા, કાલીકા અને શિતળા માતા સાથે રહેતા હતા. પરંતુ કોઈક વાંકે શ્રી કાલિકા માતાને અન્ય દેવીઓ સાથે મત ભેદ પડતા રસીઈને ગુફામાં ચાલી ગયા હતા. તેથી ડુંગર પર બે મંદિર આકાર પામ્યા છે.