આ મંદિરને જાગૃત મંદિરના નામે પણ ઓળખવામાં આવે છે. એક માન્યતા અનુસાર આ સ્થાનનું નામ ત્રણ પશુઓના નામ પરથી રાખવામાં આવ્યું છે, એટલે કે શ્રી એટલે કરોડિયો, સર્પ એટલે સાપ અને હસ્તી એટલે હાથી આમ ત્રણ પશુઓના નામ પરથી શ્રીકાલહસ્તી નામ રાખવામાં આવ્યું છે. આ ઉપરાંત માનવામાં આવે છે કે આ ત્રણેય ભગવાન શિવની આરાધના કરીને જ મુક્તિ મેળવી હતી. કરોડિયાએ ભગવાન શિવની સ્તુતિ કરતાં કરતાં જ એક જાળું બનાવ્યું હતું, સાપે શિવના લિંગ પર વીંટળાઇને આરાધના કરી હતી તથા હાથીએ પોતાની સૂંઢ વડે શિવલિંગને સ્નાન કરાવ્યું હતું. અહીં આ ત્રણે પશુઓની મૂર્તિની સ્થાપના કરવામાં પણ આવી છે. શ્રીકાલહસ્તીનો ઉલ્લેખ સ્કંદપુરાણ અને શિવપુુરાણ અને લિંગપુરાણ જેવાં પ્રાચીન ગ્રંથોમાં કરવામાં આવ્યો છે. એક પૌરાણિક કથા મુજબ તો ભગવાન શિવ ખુદ અહીં પ્રગટ થયા હતા. વર્ષો પહેલાં જ્યારે અન્ય દેવો શિવના લિંગની પૂજા કરવામાં વ્યસ્ત હતા, ત્યાં ભગવાન શિવના લિંગમાંથી લોહી નીકળવાનું શરૂ થઇ ગયું. લોહી એટલું નીકળ્યું કે તે રોકાઇ રહ્યું જ ન હતું. આ ઘટના જોઇને ત્યાં ઊભેલા દરેક લોકો ડરવા લાગ્યા, પરંતુ ત્યાં હાજર રહેલા લોકોમાંથી કન્નાપાએ આ દ્રશ્ય જોયું એટલે તેઓએ પોતાની આંખ કાઢીને શિવલિંગની સામે રાખી લીધી અને તે પોતાની બીજી આંખ કાઢવા જઇ રહ્યો હતો, ત્યાં ભગવાન શિવ પ્રગટ થયા અને તેને રોકી લીધો. ત્યારથી જ ભગવાન શિવ અહીં નિવાસ કરે છે. તેમ માનવામાં આવે છે.