પૌરાણિક કથા મુજબ ત્રિપુરાસુર નામના રાક્ષસનો વધ કરી અહીં મહાદેવજી વિશ્રામ કર્યો હતો. તે સમયના સૂર્યવંશી રાજા ભીમકની તપશ્ચર્યાથી પ્રસન્ન થઈ મહાદેવે તેમને દર્શન આપ્યા અને ત્યાં ભીમાશંકરના જ્યોતિર્લિંગ રૂપે સ્થિર થયા. આ જ્યોતિર્લિંગ પર બિલીપત્ર ધરાવવામાં નથી આવતા. અન્ય કથા મુજબ કુંભકર્ણના સંસર્ગથી કર્કટી નામની રાક્ષસીને ભીમ નામક પુત્ર થયો. ભીમ મોટો થઈ ભીમાસુર નામક રક્ષસ થયો. ઉગ્ર તપશ્ચર્યા કરી બ્રહ્માજી પાસે લોકવિજયનું વરદાન પ્રાપ્ત કરી ધર્મિક કાર્યોમાં અડચણો ઊભી કરવા લાગ્યો. તેના અત્યાચારો રોકવા શિવશક્તિએ પ્રગટ થઈ ભીસુરનો વધ કરી આ અપવિત્ર ભૂમિને પવિત્ર બનાવી તેથી તેનું નામ ભીમાશંકર પડ્યું.