પાવાગઢ કાળી મંદિરથી ઘણાં ઐતિહાસિક અને ધાર્મિક રહસ્ય જોડાયેલાં છે, જે આ જગ્યાને વધારે જ ખાસ બનાવે છે. જેમાંથી થોડી વાતો ભગવાન રામના પુત્ર લવ-કુશ સાથે જોડાયેલી છે, તો થોડી ઋષિ વિશ્વામિત્ર સાથે પણ જોડાયેલી છે.