અક્ષયપુરીશ્વર મંદિર સાથે એક પ્રાચીન કથા જોડાયેલી છે, અને આ કથા મુજબ શનિદેવે પોતાના પંગુ રોગ(પંગુ એટલે લંગડું કે લકવાગ્રસ્ત) ને સારો કરવા માટે આ જગ્યા ઉપર ભગવાન શિવની પૂજા કરી હતી.