આ માટે આ જગ્યાનું નામ પાવાગઢ પડ્યું- પાવાગઢના નામ પાછળ એક કહાણી પ્રચલિત છે. એવું કહેવામાં આવે છે કે, એક સમયમાં આ દુર્ગમ પર્વત પર ચઢવું લગભગ અસંભવ હતું. ચારેય તરફ ખાઈથી ઘેરાયેલું હોવાને કારણે અહીં હવાનો વેગ પણ ઘણો વધારે રહેતો હતો, આ માટે આ પાવાગઢ એટલે કે એવી જગ્યા જ્યાં પવનનો હમેશાં વાસ રહે છે.