પાવાગઢ વિશે લોકોમાં જાત જાતની વાતો ચાલે છે. બધામાં માની ભક્તિ વિશેષ જોવા મળે છે. એમ પણ કહેવાય છે કે આજે જ્યાં અડિખમ દુર્જેય પાવાગઢ છે ત્યાં હજારો વર્ષ પહેલા ઊંડી ખાઈ હતી. તે ખાઈ નજીક વિશ્વામિત્ર રહેતા હતા. એક વખતની વાત છે. તેમની પાસે દિવ્ય શક્તિઓ ધરાવતી કામધેનું ગાય છે. તે ચરવા નીકળી છે. તેની સાથે કોઈ ગોવાળિયો નહોતો. તે ચરતી ચરતી ઊંડી ખીણમાં ગબડી પડી. ખીણ ખૂબ ઊંડી હતી. ગાય ઉપર આવી શકે તેમ નહોતું. વિશ્વામિત્ર ગાયને શોધવા નીકળ્યા. ગાયને તેમણે ખીણમાં જોઈ. તેમનું ઋષિ હૃદય કકળી ઊઠ્યું. તરત તેમણે ભગવાનને આરાધ્યા. તેમણે ખીણને પૂરી ગાયને બહાર લાવવા પ્રાર્થના કરી. આ તો વિશ્વામિત્રની પ્રાર્થના અને તે ય દિવ્ય શક્તિઓ ધરાવતી ગાય માટેની. ભગવાને તરત તેમની પાર્થના સાંભળી. ગાય જ્યાં હતી ત્યાં ભગવાને એક પહાડ એવી રીતે ઊભો કર્યો કે પહાડના ત્રણ ભાગ વડે તે ખાઈ પુરાઈ ગઈ અને ચોથો જે ભાગ બહાર રહ્યો તે પાવાગઢ તરીકે પ્રસિદ્ધ થયો. ગાય ધીમે ધીમે પહાડ ચઢતી ચઢતી પોતાના પ્રિય ઋષિ પાસે આવે ગઈ.