સ્થાનિકો આ ગુફાઓને ગૌતમ તથાગતના અનુયાયીઓની ભીષણ તપશ્ચર્યાઓ સાથે જોડે છે. બૌદ્ધ સાધુઓ કિરમજી રંગનો દુશાલો ઓઢે, એ દુશાલો દેહાતી ભાષામાં ઓછરો કહેવાય. માટે આ ભેદી, અજાયબ અને રમણિય સ્થળને ઓછરાની ગુફા તરીકે ઓળખવામાં આવતું.