આ ધાર્મિક સ્થળ માટે એમ કહેવાય છે કે પાંડવોએ અજ્ઞાતવાસ દરમિયાન આ સ્થાને આવીને વસ્યા હતા અને પાંડવોએ માતાજીનું પૂજન શિવરાત્રિએ કરેલું તેથી જ તેને પાંડોરી માતા કહેવાય છે.