ગરુડ પુરાણ અનુસાર પાવાગઢ અને તેની આસપાસની નિર્જન પહાડીઓ રાજર્ષિ વિશ્વામિત્રીનું સાધનાક્ષેત્ર હતું. વિશ્વામિત્રે પોતાના તપોબળથી આ પાવાગઢની ખીણમાં પોતાની શક્તિઓ વહાવીને ટોચ પર સ્વહસ્તે કાલિકા માતાની સ્થાપના કરી હતી. આ કથાની સાહેદી પૂરતી વિશ્વામિત્રી નદી આજે પણ પાવાગઢમાંથી નીકળે છે.