હજારો વર્ષો પૂર્વે પુરાણકાળમાં મહર્ષિ વિશ્વામિત્ર આ પર્વતમાં વાસ કરતા હતા. આ પવિત્ર તપોભૂમિ પર ઉગ્ર તપશ્વર્યા અને આરાધના કરીને બહ્મર્ષિનું શ્રેષ્ઠ પદ સિદ્વ કર્યુ હતું. એવું પણ કહેવાય છે કે, શ્રી કાલિકા માતાજીએ આપેલ નિર્વાણ મંત્રનું અનુષ્ઠાન કરીને વિશ્વામિત્રજી આ બ્રહ્મર્ષિનું પદ પામ્યા હોવાથી તેને ચિરંજીવી રાખવા આ રમણીય પર્વતના સૌથી ટોચના શિખર ઉપર તેમણે સ્વયં જગદ્જનની માં ભવાની કાલિકા માતાજીની સ્થાપના કરી હતી. પાવાગઢ પર્વતની છેલ્લી ટૂક પર એટલે કે દરિયાઈ સપાટીથી ૨,૭૩૦ ફૂટની ઊંચાઈએ આવેલ સૌથી ઊંચા અને સાંકડા શિખરની ટોચે શ્રી કાલિકા માતાનું મંદિર પ્રસ્થાપિત કરવામાં આવેલ છે.